李航：人工智能的未来 ——记忆、知识、语言

人们的知识，特别是常识，具有模糊性(fuzziness)。下面是人工智能研究的先驱者特里·维诺格拉特(Terry Winograd)给出的例子。英文中，bachelor 是指未婚成年男性，即单身的意思。看似是一个明确的概念，但是当我们判断现实中的具体情况时，就会发现我们对这个概念的认识是模糊的，比如，未婚父亲是否是 bachelor？假结婚的男子是否是 bachelor？过着花花公子生活的高中生是否是 bachelor？大家并没有一致的意见。

神经符号处理

近年，深度学习给自然语言处理带来了巨大变化，使机器翻译、对话等任务的性能有了大幅度的提升，成为领域的核心技术。但是另一方面，深度学习用于自然语言处理的局限也显现出来。面向未来，深度学习（神经处理）与传统符号处理的结合应该成为一个重要发展方向，神经符号处理(neural symbolic processing)的新范式被越来越多的人所接受，其研究也取得初步进展。

图 3 基于神经符号处理的智能问答系统

深度学习用实数向量来表示语言，包括单词、句子、文章，向量表示又称为神经表示(neural representation)。神经表示的优点在于其稳健性，可以更好地应对语言的多义性和多样性，以及语言数据中的噪音。另一方面，传统的符号表示(symbolic representation)的优点在于其可读性和可操作性。语言是基于符号的，计算机擅长的是符号处理，用符号表示语言处理的结果是自然的选择。神经符号处理旨在同时使用神经表示与符号表示来描述语言的语义，发挥两者的优势，更好地进行自然语言处理。

基于神经符号处理的智能问答系统也是由语言处理模块、短期记忆、长期记忆、中央处理模块组成，如图 3 所示。语言处理模块又由编码器和解码器组成。编码器将自然语言问题转换为内部的语义表示，存放在短期记忆中，包括符号表示和神经表示。中央处理模块通过问题的语义表示，从长期记忆中找出相关的信息和知识。长期记忆中的信息和知识也是基于符号表示和神经表示的。找到相关的答案后，解码器把答案的语义表示转换为自然语言答案。

最新进展

实现问答系统有三种方法，分别是基于分析的、检索的、生成的方法。通常是单轮对话，也可以是多轮对话。这里考虑单轮的基于分析的问答系统。

传统的技术是语义分析(semantic parsing) [3]。基于人工定义的语法规则，对问句进行句法分析以及语义分析，得到内部语义表示——逻辑表达式。语义分析需要人工定义句法，开发成本较高，可扩展性不好。

近年，基于神经符号处理的问答系统的研究有了很大突破。可以从数据出发，完全端到端地构建问答系统。不需要人工干预，只需要提供足够量的训练数据。问答的准确率也有了一定的提升。传统的语义分析技术被颠覆。下面介绍几个有代表性的工作。

脸书(Facebook)的韦斯顿(Weston)等人提出了记忆网络(memory networks)框架[4]，可以用于如下场景的问答：

John is in the playground.

Bob is in the office.

John picked up the football.

Bob went to the kitchen.

Q: where is the football?

A: playground.

记忆网络由神经网络和长期记忆组成。长期记忆是一个矩阵，矩阵的每一个行向量是一个句子的语义表示。阅读时，记忆网络可以把给定的句子转换成内部表示，存储到长期记忆中。问答时，把问句也转换成内部表示，与长期记忆中每行的句子语义表示进行匹配，找到答案，并做回答。

（编辑：安卓应用网_福州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!