专栏名称: AI数据派
THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。
目录
相关文章推荐
南方人物周刊  ·  创造历史,哪吒怎么能火成这样? ·  昨天  
逆行的狗  ·  搭建属于你自己的AI知识库 ·  昨天  
逆行的狗  ·  搭建属于你自己的AI知识库 ·  昨天  
晨枫老苑  ·  战斗机换发是否需要重新研发发动机数控 ·  2 天前  
晨枫老苑  ·  战斗机换发是否需要重新研发发动机数控 ·  2 天前  
信息平权  ·  阿里超预期的关键点 ·  3 天前  
信息平权  ·  阿里超预期的关键点 ·  3 天前  
51好读  ›  专栏  ›  AI数据派

首超人类水平!哈工大讯飞联合实验室登顶机器阅读理解评测SQuAD 2.0

AI数据派  · 公众号  ·  · 2019-03-28 07:30

正文

来源: 哈工大讯飞联合实验室

本文共 3000字, 建议阅读 5 分钟。
本文为大家介绍了哈工大讯飞联合实验室在机器阅读理解领域的最新进展。


2019年3月20日,哈工大讯飞联合实验室(Joint Laboratory of HIT and iFLYTEK Research, HFL)与河北省讯飞人工智能研究院联合团队在由斯坦福大学发起的国际权威机器阅读理解评测SQuAD 2.0(Stanford Question Answering Dataset)中荣登榜首,所有指标均超过人类平均水平并且创下该评测的新纪录,再次展现了哈工大讯飞联合实验室在机器阅读理解领域的核心技术国际领先地位,也是人工智能技术在机器阅读理解领域的一项重要里程碑。 国际权威机器阅读理解评测SQuAD自2016年发布以来受到了业界广泛关注,吸引了众多国内外知名研究机构和高校,其中包括谷歌、微软亚洲研究院、IBM研究院、阿里巴巴达摩院、平安科技、上海交通大学、复旦大学等。


SQuAD 2.0挑战赛最新榜单(截止2019年3月26日)


SQuAD 2.0评测在基于篇章片段抽取的阅读理解任务基础上(例如SQuAD 1.1评测)进一步提高了解答难度,对机器阅读理解模型提出了新的挑战。 其主要区别是加入了“不可回答的问题”,即通过阅读篇章无法找到答案的问题。 机器阅读理解模型需要通过阅读篇章和问题,判断所提出的问题是否能够通过篇章内容进行回答。如果可以回答,则给出篇章中的某个连续片段作为答案;如果不可回答,则对该问题进行“拒答”,而不是给出似是而非的答案。本次提交的 “BERT + DAE + AoA” 模型融合了业界领先的 自然语言语义表示模型BERT 以及团队持续积累和改进的 层叠式注意力机制(Attention-over-Attention,AoA) ,将该评测的相关技术指标推向新的高度, 其中EM指标(精准匹配率)达到87.147,F1指标(模糊匹配率)达到89.474,均超过人类在该数据集上的平均水平(EM: 86.831, F1: 89.452)。


哈工大讯飞联合实验室参赛提交系统一览


产业应用


技术的发展是为了更好的服务人们的生活。 哈工大讯飞联合实验室不仅在众多核心技术评测中获得亮眼成绩,还积极将所研发的技术应用到实际产品中。 机器阅读理解技术目前成功应用在车载电子说明书产品中且已在实际车型上得到应用。 通过让机器阅读汽车领域的材料,使机器深度理解并掌握对该车型的相关知识。在用户提出问题时,不仅能够快速反馈给用户相关章节,并且还能够利用阅读理解技术进一步挖掘并反馈更精准的答案,同时针对不可回答的问题进行拒答,从而减少用户的阅读量,提高信息获取的效率。


科大讯飞执行总裁胡郁在讯飞发布会上介绍智能车载系统中阅读理解技术的应用


同时,由哈工大讯飞联合实验室出品的 “法小飞”智能法律咨询助手 应用了对话型阅读理解技术,在为用户提供精准答案的同时提升了用户的对话交互体验。“法小飞”是一个服务公众和律师的法律咨询助手,旨在利用自然语言处理技术和法律专业知识,为用户提供快速优质的法律咨询及相关服务。 “法小飞”通过学习大量的法律知识,对当事人提出的法律问题进行自动解答,并且能够针对刑事和民事案件进行深入的案情分析,拥有类案推送、法条推荐、判决预测和律师推荐的功能。


智能法律咨询助手“法小飞”


中文机器阅读理解评测(CMRC)


哈工大讯飞联合实验室不仅在自然语言处理核心技术上持续深耕,同时也积极关注和推动中文信息处理的研究发展。在2017年和2018年,哈工大讯飞联合实验室先后承办了 两届“讯飞杯”中文机器阅读理解评测(CMRC) 并且发布了中文阅读理解数据集,受到了业界广泛关注和各界研究人员的积极参加,进一步促进了中文机器阅读理解研究。今年哈工大讯飞联合实验室将继续携手中国中文信息学会计算语言学专业委员会(CIPS-CL)承办相关中文机器阅读理解评测活动,持续推动中文机器阅读理解技术的研究发展。



哈工大讯飞联合实验室阅读理解团队


哈工大讯飞联合实验室阅读理解团队(HFL-RC)是国内外最早启动机器阅读理解研究的团队之一,持续深耕机器阅读理解核心技术研究以及相关技术的产业落地。团队成立至今斩获了多项国际比赛荣誉:







请到「今天看啥」查看全文