做AI,搞NLP,才有qian途


上周六8月24号,我去参加了CCF主办的一年一届的语言与智能高峰论坛,去听听学术界和工业界的大佬聊聊自然语言和人工智能。由于之前参加了lic2019的阅读理解比赛,进入了前50,大会给了一张免费的票,省了我800元RMB。

周明大佬曾经说过:”自然语言处理是人工智能最为璀璨的明珠”。我的理解是NLP不仅是AI中最重要的一个分支,并且是最难搞的部分,对于图像的研究都有了重大的突破,对NLP的研究也就刚刚开了个小口吧。搞NLP无论前途,还是钱途都很好,之前一家公司开出了16薪让我去搞NLP,后悔没去了。

2018年绝对是NLP爆发的一年,ELMo,GPT,BERT等模型的提出,大幅度的提高了NLP各项任务的性能,加速了NLP领域的发展,激发了研究者的热情,今年顶会接收的论文都是爆发式的增长。我自己的定位就是搞NLP!搞NLP!搞NLP!

下面是我从会上收集到的对于未来NLP发展的主要的观点:

一:将知识、数据和深度学习结合起来才是未来的方向

数据和深度学习的结合能够产生较好的效果,但是模型仍然缺乏知识。张跋院士说:“没有知识的AI不是真正的AI”。知识包括常识性知识,领域知识等,主要涉及到知识图谱技术。如何将知识信息融合进模型,让模型真正具有知识是未来NLP主要的发展方向。当然这里面的挑战也是非常巨大的,目前的研究也才刚刚起步,大有可为,冲啊。

清华刘知远老师也提出深度学习+知识图谱双向驱动的自然语言处理技术体系。将数据驱动的深度学习和符号表示的知识图谱结合起来。从海量的数据中获取知识,构建知识图谱,然后在图上进行一系列的操作,比如更新,推理,知识表示等,然后用知识去指导深度学习模型,让模型能够理解数据。

二:多模态数据的融合可能是个风口

这个就更加前沿了,NLP的问题都尚未解决,研究人员就想结合视觉和NLP。主要分为:根据图片生成描述性的文字,利用文本生成图像,以及综合图像和文字回答问题。多模态数据的融合有非常大的应用价值,比如根据图片生成描述性的文字可以用于体育自动报道,根据视频内容自动生成描述性文本。如果这个效果非常好的话,那么体育主播也就可以下岗了。利用文本生成图像在教育方面也要很大的价值,启发学生的想象。

如果多模态数据的融合能够很好的解决,我认为CV和NLP就可以大一统了。

三:自然语言生成NLG目前正在成为热点

我个人比较看好NLG方向。利用深度学习模型自动生成故事,古诗,对联等,效率之高,大大提高生产力啊。还可以让生成的文本可控,比如限制生成的长度,必须包含某些词,符合句法等。还可以在生产时,融入特定的属性,比如让文本带有情感,针对某个主题等。这在智能客服,自动问答方面应用都很广。用户跟机器聊天的时候,如果机器能够生成一些带有情感的话语,用户体验会更好。

NLG还可以根据文章生成一些题目,这可高兴了教语言的老师,以后都不用出题的,再配合好机器阅读理解,说不定都不用自己去编辑标准答案了,阅卷都可以省掉,机器全包了。

四:构建可性安全的第三代人工智能技术

第二代是基于深度学习的,但是深度学习技术就是个黑盒,你搞不清楚里面究竟学到了哪些特征,只知道把很多的数据丢进去,然后就能出来效果很好的模型。这在一些特殊领域就麻烦了,比如你去看病,机器给你诊断出患有癌症,也不告诉你基于哪些方面得出此结论,你敢不敢信?如果错了,医生按照错误的结果给你治疗,有可能就小命不保了。

因此专家提出了要构建第三代人工智能技术,基础就是可性,可性才能安全,只有模型可以被解释才能可性。因此一个深度学习一个非常非常非常重要的基础且核心的任务就是如何解释模型。这个问题就交给顶级大佬了,我是没有办法。

一个有趣的话是说,能够颠覆一个行业的人大概率不是该行业的人,我觉得很有道理。突然有一天,从其它行业冒出一个人把这个问题就给解决了。

有些企业做的事情还是很有趣的,比如有做虚拟生命的,简单就是个性化智能助理,能陪聊的。目前在AI领域并没有什么杀手锏的产品,处于百花齐放吧。还有家公司是做传媒的,利用AI写稿,但我感觉就是洗稿的,从网上抓取相关的新闻,然后利用AI技术重新生成一篇文章或者多篇风格不一样的文章,再次投放到各大媒体上。在我看来,这加速了假新闻,无价值新闻的大量传播,制造了大量垃圾。这有点符合某度和某想的价值观,因为是他们投资的。

对于lic2019三项冠军的分享,我没有多大的兴趣,都是公司获得的。其模型都是基于bert或ernie,其它创新点我估计价值不大,可能就是调参内功较好,有钱有计算资源,听到最后一个的时候我就溜了。

听了一天,我对毕设的方向有了一个大致定位,这才是我参会的主要目的😃:

  1. 将知识融入到模型中,做阅读理解。 这个技术在可作为下一代的搜索引擎的核心,因此研究价值很大,目前还处在大量知识搜集的阶段,研究也就刚刚起步。我觉得可以让我搞个十来年。
  2. 做融合特定的属性的自然语言生成。这个技术实用性非常强,自动写稿,看图说话,文本摘要等应用非常广。目前主要的难度在生成结果的可控和生成质量上。我觉得可以做一做融入特定属性的生成。

周末多出去听听讲座,开阔一下视野,结交一些朋友,别总宅在屋里。这周我将去参加ABC SUMMIT会议。