主题：AI变革时代的智能系统测评分论坛
时间：2017年5月22日上午
地点：国家会议中心402B
本文根据速记进行整理
自然语言处理中的技术评测
刘挺
哈尔滨工业大学教授、社会与信息检索研究中心主任
陈小平：下面请哈尔滨工业大学教授、社会计算与信息检索研究中心主任刘挺，演讲主题：自然语言处理中的技术评测。
刘挺：谢谢陈老师的邀请。今天这个分论坛的内容真是立体交叉，风格不尽相同。我做自然语言处理的，演讲的题目是：自然语言处理中的技术评测。
人工智能可以划分为几个阶段：运算智能、感知智能、认知智能，未来还有预测决策智能和创新智能。像我们实验室在做的自动写作文，就有创新的色彩。
自然语言处理是典型的认知智能，与感知智能中的语音处理相比，自然语言面对的问题要纷繁复杂得多，同时自然语言处理经常涉及到常识、推理等认知能力，存在大量可以利用的先验知识，与行业深入结合，部分课题评测难度高。
自然语言处理有哪些课题呢？可以用一颗大树来比喻，最底下是句法语义分析，树干是阅读理解，树枝是机器翻译等应用技术，叶子是跟行业相结合的各类应用。
今天我想通过三项人们非常关注的NLP技术来介绍这个领域的技术评测：一个是句法语义分析，即句子级的语言理解，二是阅读理解，是篇章级的语言理解，给定一篇文章，让机器阅读，然后请人针对这篇文章问各种各样的问题，看机器能不能回答出来。第三个是人机对话，这个大家都熟知Siri，微软小冰等。
技术评测一直是驱动自然语言处理技术发展的重要手段。国外有美国的NIST、DARPA，日本的NTCIR等评测会议，中国各学会的专业委员会，如CCL、SMP、CCIR、CWMT、NLPCC等也都在组织技术评测。
我的一个理念是：中文的评测由中国人引导
，而不是去参加美国、日本组织的评测。
句法语义分析评测。看这个句子：“您转那篇文章很无知”，实际上我想说的：“您转的那篇文章很无知。”只差一个“的”，意思完全不同了。机器人要理解词汇之间的关系和句子的含义，需要靠句法语义分析，把词的序列形式转化为图结构。句法语义分析，从短语结构、句法依存、通用依存、一直到语义依存图，在不断地发展。刚才于老师讲怎么算理解。我们一直在思考，到底什么样的机器内部表示形式更能够充分、准确的刻划句法语义结构。人们探讨了各种各样的表现方式，哈工大提出了语义依存图的表示方式。
相关评测，也是沿着各种方式在不断推进：从单语单领域到多语言树库，再从多领域树库到通用树库，直至语义依存树库。
这是2009年进行的国际多语依存句法分析和语义角色标注评测，涉及7国语言，哈工大获得总成绩第一名。国内的学者不仅在中国做得好，而且在国外的比赛当中我们也取得了很多骄人的成绩。在2012年，谷歌组织的SANCL多领域依存句法分析评测中，哈工大获得第三名。在今年刚刚结束的CoNLL国际通用句法分析评测，涉及到45种语言，64个领域的树库，各种语言采用统一的标注方式，比拼核心算法。这次评测有113支队伍报名，包括卡内基梅隆大学、华盛顿大学、多伦多大学、牛津大学、爱丁堡大学、东京大学、IBM研究院、Facebook公司等。由于问题难度较大，最终只有33家提交了，最后哈工大获得了第四名，前三名是：美国斯坦福大学、美国康奈尔大学、德国斯图加特大学。
2012年，哈工大组织了中文语义依存分析国际评测，2014年，国外也开始组织语义依存分析评测。
哈工大的句法语义分析技术经过十几年的打磨，整合为“语言技术平台LTP”，多年来一直对外提供开源代码和云服务。欢迎大家直接调用LTP平台的使用接口，目前该平台有1.1万名注册使用者，日均请求70多万次，百度、腾讯、华为、讯飞等大企业付费使用。
刚才讲的是最底层的句法语义分析。下面介绍一下阅读理解评测。阅读理解最近特别火，成为各大巨头必须争之地。因为大家做人机对话的时候发现，很多问题并不能真正回答好。
因此，阅读理解的研究得到高度重视：给机器一篇文章，人针对这篇文章问各种各样的问题，看看机器是不是真正能够理解，是不是能够答对。这是哈工大讯飞联合实验室做的儿童阅读理解系统，机器对适合六岁儿童阅读的文本进行深入分析，对问题也要进行相应的分析，最后推导答案。
