人工智能的下一个巨大挑战：理解语言的细微差别

作者 | James Yang
译者 | Sambodhi Liu
编辑 | Vincert Chen

AI前线导读： 人类语言非常博大精妙，经常同一句话在不同的语境下，就有不同的含义，连人类有时候都不能辨别其中细微的差别，机器能吗？而这，就是人工智能的下一个巨大挑战：理解语言的细微差别。

语言是人类独有的能力，是我们智慧的体现。但是通过人工智能（我们为机器提供语言能力的NLP）为我们如何使用语言打开了一个新的可能性领域。

今天，你可以走进昏暗的起居室，让Alexa把智能灯的亮度调到75%。或者，你可以让Alexa告诉你世界另一端的天气状况。在Google最近的Duplex演示中展示了该行业最近的进展情况，AI智能体进行商务呼叫或者预定约会。曾经存在于科幻小说里的幻想在今天变成了现实，但为了能够保持真正让人满意的人机关系，机器必须能够进行更为直观、更有语境和更加自然的对话——这仍然是一个挑战。自我参加工作以来，一直研究NLP技术。NLP这个研究领域，和人工智能本身一样古老，而我们仍然处在这个旅程的起步阶段。

语言是共享信息并与我们周围的人联系的机制，但是机器需要理解语言的复杂之处，以及我们作为人类，如何交流才能使用语言。在情感分析、问答系统和联合多任务学习方面的进步，是人工智能得以能够真正理解人类和我们沟通的方式。

情感分析

语言从本质上来说就很难。语言在不断进化，非常微妙，一般人想熟练掌握语言，没有几年的功夫是不可能的。通过情感分析，我们可以使用人工智能来理解关于特定陈述的某些事情，如品牌介绍、电影评论是正面的、负面的还是中立的。但我们也可以弄清楚讲者的态度和意图（是否生气了？快乐吗？感到惊讶吗？要准备买吗？）。从客户服务到在线社区审核，再到算法交易，通过及时分析成千上万的推文或数百条产品评论，了解公众对一个品牌的看法，对企业来说，是非常有价值的。

情感分析已经存在了一段时间，但它并不总是非常准确。然而，随着NLP技术的进步，这种情况正在发生改变。在我担任Salesforce的首席科学家时，我们的Einstein AI服务就能够让品牌厂商从聊天中实时分析电子邮件、社交媒体和文本中的情绪，以便提供更好的客户体验。例如，准确的情感分析允许服务代理了解哪些不满意的客户需要优先提供服务，或者向哪些客户提供促销优惠信息。它还可以用来识别产品缺陷，衡量产品总体满意度，甚至还可以通过社交媒体渠道监控公众对品牌的看法。其他科技公司也提供了类似的服务。

我们还需要能够理解上下文的能力。假设你有一个香皂公司，有人在推特上说:“这种香皂真的很适合婴儿呢。”这条推文，可以认为是对儿童香皂的积极认可，但也有可能是反话，暗示这种香皂对孩子来说是可怕的。因此，这句话到底是什么意思要结合上下文来看，这还是一条非常简单的陈述句！要教会人工智能来解析句子所有的可能含义，并理解某个人在特定语境中想要表达的真实含义，是NLP研究中的重大挑战之一。它既需要标记数据来改进模型训练，也需要能够学习上下文并同时在不同任务之间共享知识的新模型。

问答系统

随着NLP越来越能够更好地解析文本的含义，借由这点，管理我们日常生活的数字助理的将会更加智能。Siri和Google Assistant等应用现在已经能够很好地回答常见问题了，并能够执行相当简单的命令。但在理想情况下，我们应该可以向计算机提出任意问题，并能够得到很好的答案。

要想让计算机能够提供更好的答案，其中一个方法是确保计算机能够理解问题。如果你问：“When will my plane arrive？”你问的是航班呢，还是从Amazon订购的木工刨子呢？（译注：plane有飞机和刨子的含义）计算机要如何确定你到底是问什么呢？只有通过更深入地理解语义，以及更加智能地使用上下文数据，计算机才能越来越善于猜测我们表达的意思。有了NLP，我们才能弄清楚如何学习这些上下文层，这样，人工智能就可以同时处理所有的上下文，而不会错过重要的信息。

例如，动态共注意网络（dynamic coattention networks，DCN。详见《State of the art deep learning model for question answering》http://u6.gg/ejFYu）可以根据所提问的各种问题对单个文档进行不同的解释，比如“Which team represented the NFC in Super Bowl 50?”或者“Who scored the touchdown in the fourth quarter?”，通过这种条件解释，它就可以迭代地假设多个答案，以便得到最好的、最准确的结果。

联合多任务学习

科研界擅长的是构建能够很好地完成单一任务的人工智能模型。但更直观、会话式和上下文相关的界面将需要一个能够不断学习的人工智能模型——将新任务与旧任务集成在一起，并在此过程中学习执行更为复杂的任务。人工智能在通常情况下都是如此，但在语言方面尤为如此，这是因为语言的灵活性所要求的。

问题“Who are my customers?”提出了一个足够简单的任务：创建一个客户列表。但问题是“Who are my best customers in the Pacific Northwest for a particular product?”现在，我们增加了一层复杂性，需要一些综合任务来回答合格的问题，比如，如何定义“best”？每个客户都住在哪里？让客户对某种产品感到兴趣都有哪些因素？通过向查询添加一个项目，问题的复杂性就会显著增加了。

Saleforce Research最近创建了“自然语言十项全能（Natural Language Decathlon）”，这是一个挑战，利用问答功能在单一模型中解决了NLP最棘手的10项任务：问答系统、机器翻译、摘要、自然语言推理、情感分析、语义角色标注、关系提取、目标导向对话、数据库查询生成和代词解析。使用多任务问答模型，将每个任务作为问答的一种形式，单个模型联合共同学习和处理不同的任务，无需任何特定的参数或模块。这不仅意味着数据科学家无需为每项任务构建、训练和优化单个模型。但这也意味着模型将具备零样本学习（zero-shot learning）能力，也就是说，模型可以解决它从未见过或经过专门训练的任务。

随着研究人员不断改进这样的模型，我们将看到人工智能界面在承担个能为复杂的任务时，会变得更加智能。

尽管在NLP领域中，我们摸爬滚打了很久，但仍然处于起步阶段。不过，公众希望随着NLP的进步，人工智能能够得以改变我们与机器交互的一切方式。

原文链接： AI’s Next Great Challenge: Understanding the Nuances of Language
https://hbr.org/2018/07/ais-next-great-challenge-understanding-the-nuances-of-language