动态 | 哈工大SCIR在国际多语言通用依存分析评测中夺得冠军

本文转载自哈工大社会计算与信息检索研究中心，微信号（HIT_SCIR）

在刚刚结束的 CoNLL-2018 国际评测（ http://universaldependencies.org/conll18/ ）中，哈工大社会计算与信息检索研究中心（ HIT-SCIR ）取得了第一名的好成绩。 CoNLL 系列评测每年由 ACL 的计算自然语言学习会议（ Conference on Computational Natural Language Learning ， CoNLL ）主办，是 自然语言处理领域影响力最大的国际技术评测 ，有力推动了自然语言处理各项任务的发展。

与去年的评测任务相同，今年的 CoNLL 任务仍为： Multilingual Parsing from Raw Text to Universal Dependencies ，即面向生文本的多语言通用依存分析。从生文本出发，需要进行分句、分词、形态学分析、词性标注、依存句法分析等。今年评测任务面向 57 种语言的 82 个测试集。最终评价指标为在全部评测集上依存分析任务的平均 LAS （依存弧及标签准确率），除此之外还评测了 MLAS （形态学标记正确前提下的 LAS ）和 BLEX （内容词词形还原正确前提下的 LAS ）两项指标。

最终有包括 斯坦福大学、 IBM 公司 在内的 27 支队伍成功提交了评测系统，我们的系统在最关键的评测指标，即 LAS 上获得了 第 1 名 ，高出第二名 2.56% 。

在去年的评测中，共有 45 种语言 64 个数据集，斯坦福大学获得第一名，我们的系统获得了第四名。今年，我们采用了基于图的依存分析算法，并使用大规模未标注数据预训练了上下文相关的词向量模型，大幅提高了系统的准确率。我们的这些技术进步将融入语言技术平台（ LTP ）中，进一步提高