复杂问题的知识问答技术介绍

者：吴畏，郭心南，陈永锐，花云程，漆桂林

一、复杂问答技术简介

随着互联网的飞速发展，网络每天都会产生海量的信息。为了获取并利用这些信息，越来越多的搜索引擎得到了广泛使用，如 Google、Baidu、Bing 等。这些搜索引擎根据一定的算法，运用特定策略从互联网中检索出相关信息反馈给用户。目前，搜索引擎存在两个明显的弊端：（1）需求表达方式单一。用户在利用搜索引擎时需要输入关键词（或段落）。然而，仅依赖若干关键词的逻辑组合，往往无法表达复杂而特殊的检索需求。（2）反馈结果不够清晰。搜索引擎反馈的结果往往是一个网页列表，用户仍要进行大量的人工排查和筛选，才可能找到自己需要的答案。这远远不能满足人们迅速获取所需信息并加以利用的需求。事实上，导致上述弊端的核心原因是由于目前互联网中的信息以非结构化形式为主，如文本、图片、音频等。由于缺少标准的结构，使得这些数据往往很难被有效利用。

例如针对问题“有多少条河流流经中国和印度？“, 传统的搜索引擎就无法给出用户所需要的答案。需要如何回答？ 首先我们需要分别从特定的知识库中获得流经中国和印度的河流集合信息，然后将它们取一个交集(intersection)，最后对这个集合进行计数(count)回答给用户, 这类涉及对知识库中知识的获取，多次跳转以及逻辑运算的问题可以称为复杂问题，针对此类型的问答即为基于知识库的复杂问答。其基本的查询过程可以见图1:

图1. 知识库上的复杂问答的回答过程示例

复杂问题往往具有在知识图谱上的多跳，逻辑运算，聚合等多种特点，下面对复杂问题的特征列举几个例子：

1. 多跳，比如“加州的州长出演过什么电影？”

2. 计数，比如“有多少条河流流经中国或印度？”

3. 比较，比如“美国人口在100万以上的城市有多少？”

4. 判断，比如“世界第一高峰是珠穆朗玛峰吗？”

5. 聚合，比如“成龙和李连杰共同出演过什么电影？”

而现实生活中的复杂问题往往是以上各种类型之间的组合，对于这些问题，基于知识库的复杂问答系统可以给出传统的搜索引擎等方式无法给出的答案。

二、相关研究介绍

知识库问答的重点在于对自然语言问题的理解。目前，该研究领域的主流方法可大致归纳为以下三类：

1. 基于模板的知识库问答方法

基于模板的知识库问答方法旨在利用预定义的模板匹配问题进而得到形式化查询。通常由离线和在线两个过程组成。离线时，主要根据问答历史建立模板库。具体地，归纳总结以往回答过的问题，构造出问题模板与对应的查询模板。在线时，对于一个新输入的问题，首先将其匹配到模板库中的问题模板，进而得到问题模板对应的查询模板。随后，实例化查询模板，即从问题出提取出相应的语义内容，填充模板得到真正的查询。

在模板方法的早期研究 [1][2][3][4]中，提出了使用手动定义的模板来处理具有组合性的复杂问题的方法。这些系统使用语法模式映射到语义模式上的规律性来创建模板。这些方法的缺点是模板的覆盖范围有限，在涉及非常规问题的表述时会异常脆弱。

2013 年，Fader 等人[5]针对知识库问答使用了少量手工制作的模板，将重点放在具有单个三元组的简单查询上。这种方法仅可以用于处理简单问题，无法应对更为常见的具有复杂查询结构的问题。

2015 年，Zheng 等人[6]的工作解决了在不同的环境中的问句-查询模板构建问题。在该环境下，系统使用查询工作负载和问题存储库作为输入，将问题与最能捕获问题语义的工作负载查询配对，随后将每一对概括为一个模板。同年，Bast 等人[7]使用手工构建模板的方法取得了不错的实验效果，该方法手工构建了三个查询模板，将问题填入这三个查询模板生成大量候选查询，通过对候选查询排序获得最佳查询，进而进行答案的检索。

2017 年，Abujabal 等人[8]提出了自动化构建模板的方法，通过抽取问题的核心句式，自动构建出了模板，对句式相同的问题，构建出候选查询子图，对候选查询子图集合进行排序，选择得分最高的候选查询检索答案。

2019 年，Ding 等人[9]提出了利用训练问题中出现频率高的查询子结构模板，构建形式化查询。该方法将通过对已有结构模板的拼接，得到新的结构模板。

基于模板的知识库问答往往具有较高的精确率，对于能匹配到模板的问题，通常都能正确回答。这是由于高质量的模板可以完整表达出问题的语义。然而，这类方法也始终具有模板生成成本高、模板数量有限、覆盖面不足的问题，成为阻碍性能提升的瓶颈。

2. 基于语义解析的知识库问答方法

基于语义解析（Semantic Parsing）的方法通过对自然语言问题进行解析，将其转化为逻辑形式查询，在知识库上执行查询得到答案。被广泛应用于机器翻译[10]、问答[11]、本体归纳[12]、自动推理[13]、代码生成[14]等领域。整个过程可以分为两个步骤，词汇映射和逻辑语言构建。将问题中的词汇映射到逻辑语言中，然后将逻辑语言组合形成在知识库中的查询，从而检索答案。

传统的语义解析方法可以看作是自底向上地构建语法树的过程，底层节点是问题对应的语义元素，上层的根节点是问题在知识库中最终进行查询的逻辑形式。由于自然语言问题中的表达与知识库中定义的关系在字面上可能完全不同，仅仅通过预定义的词表无法有效地解决映射问题。随着深度学习的兴起，具有强大表示能力的神经网络模型被应用到语义解析中，大幅度提升了此类方法的性能。

2015 年，Yih 等人[15]提出了可映射为逻辑形式的查询图，并将传统的语义解析简化为阶段生成查询图的管道。管道主要包括三个阶段，分别对应查询图的三类组件：（1）链接主题实体；（2）检测核心关系链；（3）添加约束。在每个阶段中，对该阶段的组件打分排序，并根据结果对查询图进行拓展。其中，在关系检测步骤中使用了卷积神经网络模型。

2017 年，Yu 等人[16]遵循[15]提出的查询图阶段生成管道，并将重点放在关系检测步骤上，提出了 HR-BiLSTM 模型。在对关系编码时，同时考虑关系名级别与单词级别，并使用残差连接增强语义的传播。

2017 年，Liang等人[17]提出神经符号机，通过基于强化学习的神经网络语义解析生成知识库上的查询动作序列，摆脱了对查询序列标注数据的依赖。2019年，Saha 等人[18]进一步提出使用辅助奖励技术来减轻极端的奖励稀疏性，并结合了通用的实用编程风格来约束组合程序仅保留语义正确程序的空间，提升了强化学习的性能。

3. 端到端的方法

端到端的知识库问答方法缘于深度学习的兴起。与前两类方法相比，最大的区别是此类方法无需构建查询，而直接从答案入手，设计端到端的神经网络模型为候选答案排序。具体地，首先，根据实体链接结果，收集问题中的实体在知识库中 -hop 以内的邻居实体作为候选实体。随后，通过神经网络模型将问题和候选答案及其上下文都映射到一个向量空间中，计算关联度。最后，根据关联度设置阈值或进行分类，预测最终答案。

2014 年，Bordes 等人[19][20]的两篇工作首先针对简单问题提出了一种神经网络模型。在该方法中，问题对应的事实只包含一条知识库三元组，问句和三元组都被表示为低维空间的向量，最终通过选取与问句相似度最高的三元组回答问题。 除了三元组，该方法还利用了与每个答案相邻的实体和关系作为上下文补充信息。

2016 年， Xu 等人[21]提出了一个综合系统，结合 Wikipedia 文本，使用多通道 CNN提取关系，将关系短语映射到知识库谓词和文本关系，并进一步开发整数线性规划模型来推断这些候选项并提供全局最优解决方案。。

2019 年， Zhao 等人[22]提出了一种实体和关系的联合分数用于训练，大幅提升了简单问题回答的准确率，然而该方法假定问题对应的事实中仅用一条三元组即可描述，无法有效应对带有各类约束，且包含多跳关系路径的复杂问题。

端到端的知识库问答方法通常只需要一个模型，这样既避免了模板方法低覆盖率，也避免了语义解析中的复杂的管道建设以及误差传播。同时，模型也可以在不同的领域被复用或重新训练。然而，此类方法也存在明显的缺点：由于神经网络缺乏解释性，目前仅适用于解决简单问题，而对于包含多条关系以及多种约束的复杂问题，效果较差。

而针对知识库上的复杂问答，由于很多情况无法从知识库中直接获取到答案，而必须通过复合的语义操作来得到，故一般需要通过语义解析的方法来处理此类问题。其可以准确地还原问题的语义，拥有很高的可解释性。此外，在构建形式化查询时，相较于基于模板的方法，语义解析更加灵活，并且具有更高的覆盖率。

三、最新工作介绍

下面我们通过我们实验室发表的两篇IJCAI2020的论文来详细介绍两类语义解析的复杂知识图谱问答方法。

1. Formal Query Building with Query Structure Prediction for Complex Question Answering over Knowledge Base, Yongrui Chen, Huiying Li, Yuncheng Hua, Guilin Qi

https://www.ijcai.org/Proceedings/2020/0519.pdf​www.ijcai.org

在这篇文章中，作者提出了一种新颖的形式化查询构建方法。在介绍该方法之前，先整理一下形式化查询的概念。

如前文中介绍，语义解析的目标是将自然语言问题转化成对应的形式化查询。所谓形式化查询，就是一种可以让知识库理解的逻辑形式上的查询。一方面，相比于自然语言问题，形式化查询在逻辑上更加清晰直观；另一方面，相比于最终的可执行查询语句（如 SPARQL），形式化查询省去了部分繁琐的语法规则。因此，它是一种介于二者之间的语义表示。

在早期的基于语义解析的研究中，大多采用了 -DCS（Lambda DependencyBased Compositional Semantics）构建形式化查询。 -DCS 是一种经典的逻辑形式语言，它将逻辑形式归纳为一元（unary）形式，如知识库实体，与二元（Binary）形式，如知识库关系。此外， -DCS 还包括连接（Join）、交集（Intersection）、聚合（Aggregate）等操作。图2展示了一个自然语言问题 1与其对应的 -DCS 形式化查询。

图 2. -DCS 形式化查询示例

尽管 -DCS为形式化查询提供了一种经典的范式，但是它仍然存在一些缺点：比如，描述繁琐，逻辑形式不够直观等。2015年，Yih 等人[15]在 -DCS的基础上，提出了查询图的概念。这是首次从图的角度描述形式化查询。通俗来说，查询图可以被视为知识图谱中的一个携带变量的子图G=（V,E），这里V和E分别表示顶点集与边集。在查询图中，顶点可能是知识库实体、实体类型、数值，变量等，边可能是知识库关系，或是一些内建属性（Built-in Property），如>， 等。图3展示了一个自然语言问题 2与其对应的查询图。

图 3. 自然语言问题对应的查询图

相较于 -DCS，查询图具有两个优点：

1）图结构简化了 -DCS 中的繁琐表示，使逻辑形式更加清晰直观。

2）将形式化查询作为图结构考虑，可以利用基于图的算法，如状态转移生成查询图。

由于这些优良特性，查询图自2015年诞生起，至今一直在知识库问答领域被广泛使用。

在Formal Query Building with Query Structure Prediction for Complex Question Answering over Knowledge Base这篇文章中，作者沿用了查询图的概念，并提出了一种新的查询图构建方法。

在介绍具体方法之前，有必要了解一下论文的动机：

在近两年的研究中，出现了一类基于查询图排序的查询图构建方法[23,24]。该类方法通常由两个阶段组成：1）通过阶段查询图生成策略（staged query graph generation）生成候选查询图，2）再利用排序模型对候选查询图排序。尽管这种基于排序学习的方法在KBQA任务上展现了不错的性能，但是仍然具有一定的局限性。作者认为主要问题出在第一步，即阶段查询图生成策略。图4展示了一个该策略的例子。

图 4. 阶段查询图生成策略示例

总体而言，对于一个自然语言问题，该策略可以简述为三步：1）实体链接：（对应图3中的(a)），从问题中找出所有可能的实体作为候选；2）主路径生成：对于每一个候选实体，枚举其到答案实体的路径（对应图3中的(b)）；3）添加约束：对于每一条主路径，枚举所有可能的约束，添加到路径上，构成候选查询图（对应图5中的(c)和(d)）。

从描述就可以看出，这种生成候选的策略本质上是基于对查询图结构枚举（枚举了实体，路径，约束以及他们之间的拓扑关系）。显然，暴力枚举很多问题：1）查询图搜索空间的指数级增长。2）候选查询图中会引入很多噪声。图5给出了两个噪声的例子。

图 5. 候选查询图中的噪声

在图5中，给出了q1和q2两个问题，以及他们各自对应的一个错误（噪声）的查询图（红框）与正确的查询图（蓝框）。不难发现，错误的查询图往往存在与问题的部分语义非常接近的组件（如错误查询图中的“<invention>”与”<party>”与问题中的“created”和“party”）。但是，从查询的整体结构（虚线框）来看，这些查询图的语义是错误的。这样的噪声查询图在现有的排序模型中往往很难被区分。

这时，自然而然就产生了一个想法：如果可以先预测出查询图的正确结构，就可以在生成候选集的时候有效规避这些噪声查询图。这便是这篇工作的动机所在。即，在生成用于排序的候选查询图之前，先预测查询图的结构。

为了描述查询图的结构，在文章中，作者对查询图中顶点和边进行了归纳，如表1所示：

表1. 查询图中顶点和边类型

这里，顶点包括4类，分别是1）实体，2）类型，3）数字，4）变量。边包括五类，其中第一类为知识库中的关系，其余四类均为内建属性。

基于以上类别，我们提出了抽象查询图（Abstract Query Graph，AQG）。一个AQG为一个无向图 = ( , )。其中，任意顶点 ∈ 都携带标签 ∈ {Ent, Type,Num, Var}，任意边 ∈ 也都携带标签 ∈ {Rel, Ord, Cmp, Cnt, Isa}。这里，AQG 中的顶点和边的标签都对应查询图中顶点和边的类别。图6展示了一个查询图与其对应的抽象查询图。

图6. 查询图与对应的 AQG 示例

假设已经得到了AQG，通过将其中表示类别的顶点（除变量顶点外）和边替换成对应类别下的具体实例（实体，关系，类型，数值，内建属性等），就可以得到一组候选查询图，接下来就可以利用现有的排序模型进行排序，选择得分最高的查询图输出。这样一来，工作的重点就是如何根据输入的自然语言问题，生成对应的AQG。

事实上，AQG这一概念并非首次出现，在先前的一些工作中，研究者们已经提出了诸如semantic query graph[25]和query structure[26]等与AQG很相关的概念。但是，该文却是首次提出利用预测的AQG对查询图排序的候选集进行降噪。此外，最重要的一点是，该文在预测AQG的过程中，没有使用任何结构模板[26]，也没有预定义的状态转换规则[25]，而是开创性地从图生成（Graph Generation）的角度提出了一个AQG生成框架，从无到有地生成一个AQG。图7展示了本文所用的生成框架:

图7. AQG生成框架

在框架中，AQG的生成过程被定义为一段图序列，在每个时刻t，图由前一时刻通过施加一种操作得到。如图5所示，文中一共定义了三种操作：

根据这个框架，文章设计了一个AQG生成模型，如图8所示：

图8. AQG生成模型

整个模型基于encoder-decoder框架，主要由四个模块组成：

问题编码模块：BiLSTM，将问题编码，得到问题的语义信息。图编码模块：Graph Transformer，在每个时刻t，用于对时刻t-1的图进行编码，得到当前已经生成的图的结构信息。解码模块：结合问题的语义信息与前一时刻图的结构信息，得到当前时刻待预测参数（addVertex中的参数 CvCv , selectVertexselectVertex 中的参数 vslcvslc ,以及 addEdgeaddEdge 中的参数

CeCe ）的语义信息。

执行模块：利用每个时刻解码器输出的向量进行分类任务，（如，addVertex模块中，对加入的定点类别进行分类）。

模型创新点：在seq2seq框架中引入了图神经网络对前一时刻图进行编码表示，以帮助模型有效利用生成过程中的结构信息，用于预测下一时刻的操作。

实验: 最后，简单得介绍一下论文的实验部分。作者选择了LC-QuAD， ComplexQuestions和WebQuestions三个主流的KBQA数据集。实验结果见图9，10，11和12：

图9. 论文方法在LC-QuAD，ComplexQuestions和WebQuestions数据集上的表现

图10. AQG方法与阶段查询图生成策略（ST）在最终问答结果的比较

图11. AQG模型的消融实验

图12. AQG与阶段查询图生成策略（ST）针对不同难度级别问题的比较

从实验中可以总结出AQG和状态转移策略（ST）回答不同难度问题的F1 值变化趋势。综合三个数据集上的表现可以看出：相较于ST 策略，基于 AQG 方法为整个系统带来的 F1 值提升会随着问题难度等级的增加而增大。这证明了(AQG)结构预测在处理复杂问题时更有优势。

总结:

该论文提出了一种基于结构预测的形式化查询构建方法。在该方法中，首先，根据输入问题预测出查询图的结构(AQG)。接着，利用预测的结构组合生成候选查询图并对其排序。最终，选择得分最高的查询图执行得到答案。实验证明了查询结构预测可以帮助提升复杂问答任务的效果，同时也对使用图神经网络进行查询图生成的思路具有启发意义。

2. Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via Alternate Meta-learning, Yuncheng Hua, Yuan-Fang Li, Gholamreza Haffari, Guilin Qi, Wei Wu

https://www.ijcai.org/Proceedings/2020/0509.pdf​www.ijcai.org

此前Liang等人[17]提出神经符号机(Neural Symbolic Machines, 简称NSM)模型, 如图13所示，该模型主要包括三个模块:

1） Manager 经理

一个弱监督的强化学习“经理”， 给一个问题给“程序员”， 并且根据“程序员”返回的答案与标准答案（gold answer） 比较给出reward。

2） Programmer 程序员

程序员， 一个带 Key-Variable Memory 的 seq2seq 模型， 在强化学习中扮演agent， NSM模型在编码期间，使用实体链接器将文本（例如，“US”） 链接到 KB 实体。对于每个链接实体，添加一个 Key-Variable 内存项，Variable token是将链接实体（例如，m.USA）保存为的计算机中变量的名称。在解码期间， 当生成完整表达式时，它被执行并将结果存储为“计算机” 中的新 Variable 的值, “程序员” 最终返回的答案就是算出来的最终的 Variable 结果值。

3） Computer 计算机

计算机模块是一个 Lisp 解释器，根据现有的知识库和预先给定的可用函数做一些查询知识库和处理结果的操作

图13. Neural Symbolic Machines示意图

此类基于神经符号学习的方法为了在没有逻辑查询标注的情况下自动生成正确的查询，由于无法通过端到端的反向传播更新，故使用强化学习的方法，通过执行查询语句后得到的答案与正确答案比对进行训练。

强化学习提到的三个概念分别是动作，状态和奖励。在神经符号学习中，每一步中，动作即是由生成器生成的序列，解码器的隐藏状态用于表示强化学习中的状态，而奖励与强化学习中的概念相同，是执行动作序列后得到的答案和标准答案的F1分数（F1 Score）。由于只能在执行一系列动作之后才能获得最终模型的奖励，因此将动作的执行视为训练的一部分。但是正因为如此，在大部分情况下，生成的动作序列是无法获得奖励的，这就是强化学习中的稀疏奖励问题。

本文同样采用神经符号学习机制，着重解决了强化学习的神经符号学习方法中面临的问题，其总体架构图由图14所示：

图14 基于强化学习的神经符号学习方法

下面列举强化学习的神经符号学习方法中遇到的问题以及本文的解决方案：

1. 伪黄金动作问题

首先如果没有正确的动作序列标注，那么有可能存在的伪黄金动作问题，即错误的动作序列可能导致正确的答案。

图15. 伪黄金动作

如图15所示，图中绿色虚线中的内容是错误的动作，但是却没有影响最终的结果，这是一种非常可能出现的情况。强化学习需要对获得最高奖励的序列进行投票以避免被虚假动作误导。

1. 奖励设置问题

强化学习奖励函数设置存在两个难以避免的问题：一是稀疏奖励的问题: 大部分的尝试都无法获得奖励，二是数据效率低下问题：容易忘记罕见的成功尝试。所以一般需要在强化学习中使用课程指导的奖励(Curriculum-guided Reward Bonus)来解决奖励设置问题，相关的方法有：

1）记忆缓存：记录以前的高额奖励试验

2）相似奖励：对可行的高奖励试验进行采样

3）新奇奖励：搜索除记忆以外的其他新颖试验

4）课程学习：平衡亲密感和新颖性: 即在早期探索未见过的区域，在后期进行有希望的试验

图16. 课程指导奖励

图17. 实体关系链接(NER)与MASK语义解析机制

3. 数据问题

3.1 数据不均与通用模型问题

很多公开的数据集以及日常场景中，数据往往是不平均的，不同类型的问题的数量规模经常会有巨大的方差，一些简单的，单跳且没有集合操作的往往占了很大的比例，而复杂多跳，同时包含若干集合操作的数据一般是比较少的。这样会导致训练处理来的模型无法在不同类型的数据上通用。一些神经符号学习的方法，比如CIPITR[18]，采用针对不同类型的问题单独训练对应的模型来提高性能。

3.2 数据数量问题

由于数据难以获得，如何通过少样本学习(Few-shot learning)，训练少量的数据以适应新任务，减少所需的训练样本是需要考虑的。

元学习(Meta Learning)可以很好的解决上面的问题，少样本学习和元学习相关概念介绍可见我们之前的文章:

漆桂林：少样本关系抽取技术​zhuanlan.zhihu.com

元学习是一种学习如何学习(Learn to learn)的方法。元学习学习的目标是任务(Task)。构建的任务分为训练任务（Train Task）和测试任务（Test Task）。每个任务又包含Support Set和Query Set作为训练和测试集合。本文作者使用一个检索器(retriever)，根据问题的相似度来构建Support Set。

如图18，图19所示，训练包含两个过程，第一步是用retriever来构建Support Set，训练meta-learner(Programmer)，第二步，采样M个不同的Support Set来优化Programmer，

图18. 元学习训练的两个阶段

图19. 元学习训练的两个阶段

至此，此模型即可在少量数据，并无逻辑查询语句标注的情况下训练神经符号机，将自然语言问题转化为可在数据库上执行的查询动作，并最终执行得到答案。

实验:

作者实验中采用了CQA数据集，其中训练集包含了944K个问答对，验证集和测试集包含100K和156K个问答对。总共包含7个类型，每个类型的示例见表2:

表2. CQA数据集

我们仅训练训练集数据中的1.059%，10K个QA对，对比之前的方法，实验结果见表3:

表3. MARL在CQA数据集上的表现

此前的STOA(state of the art)是CIPITR[18]，CIPITR尝试单独使用某一类型的数据训练和测试以消除数据分布的问题提升效果，而MARL通过元学习方法解决了此问题。可以看到在所有较为复杂的问题类型中，MARL只用全体数据集的1%，利用单一的通用模型即达到了STOA结果，仅在两个简单类型任务落后与CIPITR在单一类型的数据上训练效果。由此可以证明模型的通用性和总体性能的优势。

总结:

本文提出了一种元强化学习模型，该模型交替优化了检索器(retriever)和神经网络programmer，其中retriever学习选择问题，programmer学习适应新问题以产生可行的答案，并且在强化学习中添加以课程为指导的奖励。由实验结果可知，该模型可以处理数据集中存在的重大分布方差，并减少与人工标记相似问题以构建support set的高成本。

四、两篇IJCAI论文提出的方法比较

本文介绍的第一篇使用查询图的方法，查询图的方法是比较常用的KBQA方法，由于其标注较为容易，并且其预设的聚合函数能够覆盖绝大部分的现实问题类型，在很多常用的KBQA场景例如智能客服[27] 中效果非常好。而本文介绍的查询图方法进一步通过预测出查询图的正确结构规避候选集噪声，在数据可用查询图处理的情况下，在效率和性能上更加优秀。

第二篇使用基于强化学习的Seq2Seq方法。此类强化学习的方法在只有复杂问题和答案，而没有形式化查询标注的数据场景中适用，并且可以通过对问题的分析，自行设计所需的结构化查询的逻辑运算算子，如果已存在一定的复杂问答的历史数据，但仅有问题和答案，那么通过强化学习的训练方法可以避免人工构建结构化查询标注的高额成本。不过虽然不需要标注，但此类方法通常难以收敛，会面临强化学习中的各种问题，并且在最终效果上一般略低于有监督的方法。本文介绍的基于强化学习的方法MARL，通过辅助的课程奖励降低训练难度，并通过元学习方法，可用少量数据进行训练，也可以针对不同的数据集扩展逻辑操作的算子，在数据层面上非常通用和高效，并且在更为复杂的问题中表现非常好。

五、复杂KBQA问答的应用

复杂KBQA问答的应用除了在知识图谱上的问答，也包含在数据库上进行NL2SQL等方法，后续我们会单独通过一篇文章进行介绍。总之凡是相关类型的自然语言的问句，都可以通过将其转化为结构化知识上查询来进行回答。复杂的知识库问答，可以一定程度上让问答系统具备推理能力，并且可以通过根据不同的数据场景选择不同的方法，在智能客服[27]、知识问答机器人[28]、聊天机器人[29]等等领域拥有广阔的发展前景。

参考文献

[1]Unger C, Cimiano P. Pythia: Compositional meaning construction for ontology-based question answering on the semantic web[C]//International conference on application of natural language to information systems. Springer, Berlin, Heidelberg, 2011: 153-160.

[2]Yahya M, Berberich K, Elbassuoni S, et al. Natural language questions for the web of

data[C]//Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Association for Computational Linguistics, 2012: 379-390.

[3]Yahya M, Berberich K, Elbassuoni S, et al. Robust question answering over the web of linked data[C]//Proceedings of the 22nd ACM international conference on Information & Knowledge Management. 2013: 1107-1116.

[4]Zou L, Huang R, Wang H, et al. Natural language question answering over RDF: a graph data driven approach[C]//Proceedings of the 2014 ACM SIGMOD international conference on Management of data. 2014: 313-324.

[5]Fader A, Zettlemoyer L, Etzioni O. Paraphrase-driven learning for open question

answering[C]//Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. 2013: 1608-1618.

[6]Zheng W, Zou L, Lian X, et al. How to build templates for RDF question/answering: An uncertain graph similarity join approach[C]//Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data. 2015: 1809-1824.

[7]Bast H, Haussmann E. More accurate question answering on freebase[C]//Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. 2015: 1431-1440.

[8]Abujabal A, Yahya M, Riedewald M, et al. Automated template generation for question answering over knowledge graphs[C]//Proceedings of the 26th International Conference on World Wide Web. 2017: 1191-1200.

[9]Ding J, Hu W, Xu Q, et al. Leveraging Frequent Query Substructures to Generate Formal Queries for Complex Question Answering[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. 2019: 2614-2622.

[10]Andreas J, Vlachos A, Clark S. Semantic parsing as machine translation[C]//Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. 2013: 47-52.

[11]Jia R, Liang P. Data recombination for neural semantic parsing[J]. arXiv preprint arXiv:1606.03622, 2016.

[12]Poon H, Domingos P. Unsupervised ontology induction from text[C]//Proceedings of the 48th annual meeting of the Association for Computational Linguistics. Association for Computational Linguistics,

2010: 296-305.

[13]Kaliszyk C, Urban J, Vyskočil J. Automating formalization by statistical and semantic parsing of mathematics[C]//International Conference on Interactive Theorem Proving. Springer, Cham, 2017: 12-27.

[14]Guo J, Zhan Z, Gao Y, et al. Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019: 4524-4535.

[15]Yih W T, Chang M W, He X, et al. Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base[C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics. 2015:1321-1331.

[16]Yu M, Yin W, Hasan K S, et al. Improved Neural Relation Detection for Knowledge Base Question Answering[C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. 2017: 571-581.

[17] Liang C, Berant J, Le Q, et al. Neural symbolic machines: Learning semantic parsers on freebase with weak supervision[J]. arXiv preprint arXiv:1611.00020, 2016.

[18] Amrita Saha, Ghulam Ahmed Ansari,Abhishek Laddha, Karthik Sankaranarayanan, and

Soumen Chakrabarti. Complex program induction for querying knowledge bases in the absence of gold programs. Transactions of the Association for Computational Linguistics, 7:185–200, 2019.

[19] Bordes A, Weston J, Usunier N. Open question answering with weakly supervised embeddingmodels[C]//Joint European conference on machine learning and knowledge discovery in databases.Springer, Berlin, Heidelberg, 2014: 165-180.

[20] Bordes A, Chopra S, Weston J. Question Answering with Subgraph Embeddings[C]//Proceedings of the2014 Conference on Empirical Methods in Natural Language Processing. 2014: 615-620.

[21] Xu K, Reddy S, Feng Y, et al. Question Answering on Freebase via Relation Extraction and Textual Evidence[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016: 2326-2336.

[22]Zhao W, Chung T, Goyal A, et al. Simple Question Answering with Subgraph Ranking and JointScoring[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019: 324-334

[23] Maheshwari G, Trivedi P, Lukovnikov D, et al. Learning to rank query graphs for complex question answering over knowledge graphs[C]//International Semantic Web Conference. Springer, Cham, 2019: 487-504.

[24] Luo K, Lin F, Luo X, et al. Knowledge base question answering via encoding of complex query graphs[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2018: 2185-2194.

[25] Hu S, Zou L, Zhang X. A state-transition framework to answer complex questions over knowledge base[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2018: 2098-2108.

[26] Ding J, Hu W, Xu Q, et al. Leveraging Frequent Query Substructures to Generate Formal Queries for Complex Question Answering[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. 2019: 2614-2622.

[27] Li F L, Chen W, Huang Q, et al. AliMe KBQA: Question Answering over Structured Knowledge for E-Commerce Customer Service[C]//China Conference on Knowledge Graph and Semantic Computing. Springer, Singapore, 2019: 136-148.

[28] Lally A, Fodor P. Natural language processing with prolog in the ibm watson system[J]. The Association for Logic Programming (ALP) Newsletter, 2011, 9.

[29] Zhou L, Gao J, Li D, et al. The design and implementation of xiaoice, an empathetic social chatbot[J]. Computational Linguistics, 2020, 46(1): 53-93.