精选文章

为何NLP领域的技术落地如此不易?

2019-01-11 16:30:31 | 来源:中培企业IT培训网

近年来,人工智能领域的发展越来越好,希望转业投身到这个领域的人也越来越多,但想要搭上这波AI红利不是那么容易的。

NLP自然语言处理是人工智能的一个子领域,它指的是机器能够理解并解释人的写作或说话方式的能力。但众所周知,人工智能对人类影响最大的就是自然语言方面,就连微软创始人比尔盖茨也曾说过,语言理解就是人工智能领域皇冠上的明珠。那么,为何如今NLP领域的技术落地这么难呢?

NLP的落地场景并不是那么直接,往往需要结合客户或者产品设计。之前微软亚洲研究院副院长周明在接受采访时说过,“目前自然语言处理产品出现的问题,很多时候无关技术,而是在产品设计和UI方面做得不够好”。如果产品设计或UI方面做得不好,用户体验感就会很差,对产品落地也会造成很大的影响。

就目前的市场来看,NLP领域的创业大公司很少,究其原因,还是因为技术难度太大,应用场景太复杂。就连现在NLP领域的创业公司都会面临一个落地难的状况。对于特别纯粹的自然语言应用(不涵盖搜索),主要就是机器翻译。而今的机器翻译水平还是达不到高标准。对于有背景的复杂句子,机器依然很难翻译。若翻译付费形成一种商业模式,从研究到技术到落地再到商业化,这将会面临一个很大的挑战。

运用周明的话来讲,现在的自然语言处理面临着如下问题:第一,自然语言是多轮的;第二,自然语言除了多轮特征之外,它还涉及到了背景知识和常识知识;第三,自然语言处理要面对个性化问题。

那么,如何才能解决这些问题呢?

周明表示,在技术的改进上虽然我们不能保证,但有三个值得尝试的方向:

第一,上下文的建模需要建立大规模的数据集。比如多轮对话和上下文理解。数据标注的时候要注意前后文。没有这样的数据,很难取得突破。

第二,强化学习很重要。我们需要根据用户的反馈倒推模型并做参数修正,使模型更加优化。现在强化学习刚刚开始用在自然语言领域,性能并不稳定,但在未来很有机会。

第三,要引入常识和专业知识,并把这些知识构建好。这样就能更加精准地回答问题。没有人能证明现在常识知识用在语言问答和搜索中的作用有多大。所以,我们需要一个测试集来检验结果。这个测试集要专门测上下文和常识,可以让我们要不停用新模型(比如强化学习或者知识图谱)去试错,来看系统性能能不能提升。

自然语言可以说是人类智慧的结晶,虽然说仍有很多问题亟待解决,但这不会难倒聪明的人类。我们相信,凭着我们迎难而上的勇气,终有一天,人工智能会更好的服务于人类。

想了解更多IT资讯,请访问中培伟业官网:中培伟业

标签: 人工智能