1. Dynamic Memory Networks for Question
Answering over Text and Images
QA 系统的概念是直接从文档、对话、在线搜索等中提取信息
(有时是段落,或是单词的范围),以满足用户的信息需求。QA
系统不需要用户通读整个文档,而是倾向于给出一个简短的答
案。现在,QA 系统可以很容易地与其他 NLP 系统(如聊天机
器人)结合起来,有些 QA 系统甚至超越了文本文档的搜索,可
以从一组图片中提取信息。
有 很 多 类 型 的 问 题 , 其 中 最 简 单 的 是 Factoid Question
Answering 事实类问题回答。它包含的问题看 起来 像““The
symbol for mercuric oxide is?” “Which NFL team
represented the AFC at Super Bowl 50?”。当然还有其他类
型的问题,如数学问题(“2+3=?”)、逻辑问题,这些问题需要广
泛的推理(而且没有背景信息)。然而,我们可以说在人们的日常
生活中,寻求信息的事实类问题回答是最常见的问题。
事实上,大多数 NLP 问题都可以看作是一个问答问题,其范式
很简单:我们发出一个查询,然后机器提供一个响应。通过阅读
文档或一组指令,智能系统应该能够回答各种各样的问题。我们
可以要求句子的 POS 标签,我们可以要求系统用不同的语言
来响应。因此,很自然地,我们想设计一个可以用于一般 QA
的模型。
为了实现这一目标,我们面临两大障碍。许多 NLP 任务使用不
同的架构,如 TreeLSTM (Tai et al., 2015)用于情绪分析,
Memory Network (Weston et al., 2015) 用于回答问题,以及
双向 LSTM-CRF (Huang et al., 2015) 用于词性标注。第二个
问题是全面的多任务学习往往非常困难,迁移学习仍然是当前人
工智能领域(计算机视觉、强化学习等)神经网络架构的主要障
碍。
我们可以使用 NLP 的共享体系结构来解决第一个问题:动态内
存网络(DMN),这是一种为一般 QA 任务设计的体系结构。
QA 很难,部分原因是阅读一段很长的文字很难。即使对于人
类,我们也不能在你的工作记忆中存储一个很长的文档。