面向大规模知识库的开放域问题生成技术研究

发布时间：2024-02-13 23:38

　　基于知识库的问题生成任务旨在于生成可以由一个三元组回答的简单问题,与基于知识库的问答系统的任务目标相反。基于知识库的问答系统的输入为自然语言形式的疑问句,根据知识库中大量三元组推断出问题的答案。使用知识库来回答问题需要大量标签问答对,然而制作一个大规模、精确的标准数据集非常昂贵,还会受领域等因素的限制。为了减少标注工作量,问题生成被提出,并受到了工业界和学术界越来越多的关注。然而,基于知识库的问题生成也存在许多挑战,比如三元组中存在大量低频词导致OOV(Out of Vocabulary)问题,而且模型的输入仅为一个缺乏背景信息的三元组,生成的问题缺乏多样性。因此,本文将探讨基于大规模知识库的开放域问题生成算法,从包含答案的三元组入手,反向生成适当的、信息量丰富的问题句。本文的主要工作如下:为了解决因大量低频词造成的OOV问题,本文在生成框架上融入Copy机制。由于Copy机制内部计算存在一些缺陷,导致一般常用词汇的预测受到弱化,故本文对Copy机制进行了改善,构建出一个基于Attention-Copy机制的问题生成模型(AC-KBQG),在解决OOV问题时加强整体词汇生成效果。在多次...

【文章页数】：62 页

【学位级别】：硕士

【部分图文】：

图２．４所示，其中Ｖ表示第／（ｅ??Ｎ）个堆叠块的输出结果

ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??构成，本质也是一个Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ的结构，在十多个自然语言处理任务中获??得突破，这也证明了?Ａｔｔｅｎｔｉｏｎ机制的有效性，本文也将其融入到ＱＧ任务中。最??初，Ｔｒａｎｓｆｏｒｍｅｒ用于机器翻译任务，随着其有效性，如今逐步代替主....

图３．３基于Ａｔｔｅｎｔｉｏｎ－Ｃｏｐｙ机制的解码层结构??与编码端一致，解码端也基于ＬＳＴＭ进行解码

？?ｙ．ｉ?－？?？＇（?ｉ??＇?一丨???一一一一？??、?ｌ?ｌ?：???１?ａ?—ｒ???Ｄｅｃｏｄｅｒ?Ｓｅｌｅｃｔｉｖｅｒ＾＾???（Ｘ）＾?““????Ｒｅａｄｆｃｒ?Ｌｊ?—?ＬＳＴＭ???（?Ａｔｔｅｎｔｉｏｎ＇??ｙ＿Ｊ?＾??ＭＰＭａｍｂ?ｏｄｄＳｏｄｏ??....

图４．１本章模型框架??３３??

Ｃｊ＾ｋ｝项士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??并且还使用ＢＥＲＴ预训练模型获得词语的语义表示。与Ｓｅｑ２Ｓｅｑ模型结合，从而??较好的解决三元组所缺乏的上下文信息，以获得更准确的潜在语义，使得模型生??成的问题更加丰富流畅。??４．２模型结构??本节将介绍基于Ｇｒａ....

图４．２所示的网络块中堆叠Ｌ次，在输入残??差网络之前进行拼接

基于Ｔｒａｎｓｆｏｒｍｅｒ结构，在全局图的背景语义下进一步捕捉主语实体、关系、宾??语实体之间的关联，使作为输入的三元组具有更加符合本任务的语义粒度表示。??Ｖａｓｗａｎｉ等人提出的Ｔｒａｎｓｆｏｒｍｅｒ结构，通过全局上下文建模的多头自注意力机制??来实现高效且并行的计算，具有并....

本文编号：3897394