近日,自然语言处理(NLP)领域的国际顶级学术会议“国际计算语言学协会年会“(ACL 2019)公布了今年大会论文录用结果,国内外从事自然语言处理相关研究的企业和机构纷纷公开了自己的论文录用数量。其中,百度共有10篇论文被大会收录。
史上最火NLP顶会
国际计算语言学协会(ACL,The Association for Computational Linguistics)成立于1962年,是自然语言处理领域影响力最大、最具活力的国际学术组织之一,自成立之日起就致力于推动计算语言学及自然语言处理相关研究的发展和国际学术交流。
今年以来,几乎所有 AI 顶会都报告了创纪录的论文提交数量,包括 AAAI、ICLR、IJCAI 等等。NLP 领域今年尤其火爆,ACL 2019 出现了史上最大的增长:论文提交数量飙升到 2906 篇,其中有效提交 2694 篇,相比 2018 年的 1544 篇,增长了 75%!
截止到提交截止日期,ACL 2019 收到了多达 2906 份提交论文。这比 ACL 2018 增加了 75% 以上,是ACL 相关会议的历史记录!2906 篇提交论文中,有 120 篇被作者撤回,92 篇因重复提交、剽窃或不符合提交准则等问题而被拒绝。送交评审的是一共2694 篇有效论文,包括 1609 篇长论文和 1085 篇短论文。
其中,信息提取和文本挖掘,机器学习,机器翻译这三个领域是投稿最多的,与ACL 2018相同。此外,对话和交互系统也进入了前 5 大领域。
从通讯作者的国家来看,美国和中国内地的投稿数量领先,投稿数量分别都超过了 700 篇。英国和德国分别以 129 篇和 126 篇排名第三和第四,日本紧随其后 (120 篇)。
ACL 2019新举措
如此巨大的投稿量,审稿质量控制又是一大难题,本届ACL的评审质量也受到颇多吐槽,ACL 2019组委会在官方博客上发表文章《What‘s new, different and challenging in ACL 2019?》,讲述了在审稿背后的故事,AI报道将之编译如下。
随着人工智能的兴起,自然语言处理越来越受到人们的关注,几乎所有近期会议的自然语言处理领域论文都在提交数量上取得了突破。纵观 ACL 的发展历史,我们从未见过如此戏剧性的增长:短短一年时间内,论文的提交数量就从 1544 份变成 2906 份!下图完整显示了 ACL 过去 20 年的增长情况,涉及内容包括论文提交、审阅人员以及区域主席(高级)等情况。
要审查如此大量的提交论文,需要一个大型的、组织良好的项目委员会。为此,我们创建了一种在项目委员会(Program Committee)基础上带有高级项目委员会(Senior Program Committee)的会议结构。我们招募了一定数量的高级区域主席SAC(共计46位,每个区域2 -4把椅子)和区域主席AC(共计184位,每个区域3-15把椅子)。我们还对他们的岗位进行了严格区分,高级领域主席主要负责将论文分配予领域主席及审稿人,并为各自专注的领域提出建议;领域主席主要负责该领域内的一小部分论文,具体任务是与审稿人进行讨论、写 meta-reviews 以及提出初步建议。这种结构还有助于弥补快速增长所面临的问题--缺乏经验丰富的审稿人。由于领域主席关注的论文数量较少,因此可以更多地关注评审过程。至于评审员,我们今年配置了更多人员,共达2281名(ACL 2018有1610名陪审员)。
由于今年提交的文件数量如此之多,以至于会议组织的每一步(从最初检查提交的文件到决策)都比以前花费更长的时间。由于时间紧迫,我们开始寻找提高效率的方法,同时我们希望提升优化作者和区域主席的用户体验。为此,我们减少了原来需要3天(或更少)短期周转的截止日期。考虑到社区中工作和生活情况的多样性(即人们实际可以参加会议相关工作的时间/天数的巨大差异),这样的截止日期对所有人来说都是有压力的,往往效果不佳。
具体来讲,我们实施了以下改变:
1.放弃了纸质投标阶段。在过去,这个阶段可能需要几天的时间,而且由于提交了大量的内容,审阅人员发现这个环节越来越耗时。然而,时间因素不谈,我们也担心审稿人会更倾向于选择他们最喜欢的论文进行审核,而不是选择有资格评阅的论文进行审查。我们的计划是依靠多伦多论文匹配系统(TPMS)来给审稿人分配论文。不幸的是,这个系统并没有像我们所希望的那样有用(要想获得最佳性能,需要我们提供更广泛的审阅者资料),并且该工作在很大程度上依赖于手动操作。总的来说,我们的高级领域主席在这方面做得很出色,但我们依然认为这是一项需要在自动化方面加大投入的工作。
2.和NAACL 2019一样,我们今年也没有一个作者响应阶段。作者的响应阶段最初是作为评审过程的改进而引入的,后来被证明是费时的(不仅仅是作者,还包括审员和主席的时间),并且在更大的范围内没有太大的影响。
3.与近期一些会议采用的详细审查形式相比,我们采用了更简单、更精简的论文审查形式,灵感来自于自EMNLP 2018(感谢Julia Hockenmaier、David Chiang和Junichi Tsujii!)这个形式既有效保证审查的严谨,也减轻了审查人员的压力,而且更侧重于突出决策过程中的关键点。
虽然我们采取了很多节省时间的措施,然而对于项目委员会主席、高级区域主席、区域主席以及审稿人来说,会议日程依然非常紧张。让人感到有趣的是,尽管 ACL 在过去 20 年内有了显著增长,然而日程安排却几乎与 1999 年没什么两样。另外还有一点,从提交截止至录取通知的时长,也与 1999 年完全相当(都是两个月),虽然论文提交的数量如今已增加了十倍,且个人电脑的体积及复杂程度变化极大。也许我们是时候采用这些会议的做法(比如 IJCAI、NeurIPS、SIGIR)了,即是将这个时长延长至 3-4 个月。随着会议的进一步发展,这对于维持审查的质量可能是至关重要的。
此外,会议日程还受到其他会议日程(例如今年的NAACL和EMNLP-IJCNLP)以及ACL指南和预印本需求的影响。为此,我们与其他会议做出了协调一致的努力,以避免在审查期间出现重叠的情况(否则每次会议的可用时间会被缩短)。评审周期要是产生重叠,要么会导致作者不满意(因为他们的论文不能提交所有会议),要么项目委员会主席觉得混乱(同时管理多个来源的论文提交以及论文撤回)。此外,评审员也不可能同时对多个会议的论文进行评审。即使今年没有重叠,许多作者仍然希望会议之间能有更长的时间间隙,这样就可以根据反馈重新修改和提交论文,在之前,一旦被一个会议拒稿,就没有足够的时间在下一场会议开始的匿名阶段以前进行论文提交。总的来说,今后不仅要注意会议的日期,还要注意截至日期的数目和安排。
百度10篇NLP论文被录用
据了解,以往大会论文的录用率仅25%左右。在NLP领域,研究论文能够被ACL年会录用,意味着研究结果得到了国际学术界的认可。此次百度共有10篇论文被大会录用,展现了其在该领域的技术积淀和国际水准。
此次百度被录用论文,覆盖了信息抽取、机器阅读理解、对话系统、视频语义理解、机器翻译等诸多NLP领域的热点和前沿研究方向,提出了包括基于注意力正则化的ARNOR框架(Attention Regularization based NOise Reduction)、语言表示与知识表示深度融合的KT-NET模型、多粒度跨模态注意力机制、基于端到端深度强化学习的共指解析方法等,在人机交互、智能客服、视频理解、机器翻译等场景中具有很大的应用价值。
百度自然语言处理技术全面支持百度业务,是智能搜索、信息流、智能家居等产品的核心技术,同时积极开放其核心能力,赋能各行各业,助力产业智能化升级。百度自然语言处理部以“理解语言,拥有智能,改变世界”为使命,开展包括自然语言处理、