专栏名称: 络绎科学
专业的科创成果产业化社区,与青年科学家同行。
目录
相关文章推荐
湖北经视  ·  突然宣布:免费开放使用! ·  昨天  
湖北经视  ·  确认了:今夜抵达湖北!挺住! ·  昨天  
湖北经视  ·  有游客穿睡衣逃生!知名景区深夜突发大火 ·  2 天前  
湖北经视  ·  武汉疾控最新提醒! ·  2 天前  
湖北经视  ·  返程注意!湖北部分道路结冰、高速关闭 ·  4 天前  
51好读  ›  专栏  ›  络绎科学

ICLR开奖、ICML放榜,两篇国内论文获杰出ICLR论文提名,审稿问题引起质疑

络绎科学  · 公众号  ·  · 2024-05-10 15:39

正文


ICLR (International Conference on Learning Representations,国际学习表征会议)、 ICML(International Conference On Machine Learning,国际机器学习大会)与 NeurIPS(Conference on Neural Information Processing Systems,神经信息处理系统大会)被视为国际机器学习领域最具影响力的三个会议。


近日,ICML 公布了 2024 年度大会的录用结果,ICLR 也揭晓了本届 ICLR 的杰出论文奖和荣誉提名论文以及首个时间检验奖。


其中, ICML2024 投稿量创下了历史新高,达到了 9473 篇,比去年的 6538 篇增加了近 3000 篇,其录用率达到了 27.5%

(来源:X @zicokolter)

ICLR2024 的投稿量也同样突破新高,达到了 7262 篇,录用率则约为 31%

(来源:Papercopilot)


华人学者成绩突出


值得一提的是,华人学者在这次 ICLR 大会上的表现突出,在投稿量排名靠前的榜单中大部分都是华人名字的作者,甚至前六名全部为华人名字,第一名 Tongliang Liu 投 35 中 14 的成绩相当出众。


(来源:X:@HighFreqAsuka)


而在 ICLR 前不久公布揭晓的杰出论文奖与荣誉提名论文中,也有不少华人取得成就。


来自 UC Berkeley 的 Sherry Yang (杨梦娇)与 MIT 的 Yilun Du 等人合作的论文 《学习交互式真实世界模拟器》( Learning Interactive Real-World Simulators )就 获得了杰出论文奖

(论文地址: https://openreview.net/forum?id=sFyTZEqmUY


而获得荣誉论文提名的华人学者则有三组,分别是:


北大、北京智源人工智能研究院的张博航、盖景初、杜逸恒、叶启威、贺笛、王立威 合作的论文《超越魏斯费勒 - 雷曼: GNN 表达能力的定量框架》( Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness )。

(论文地址: https://openreview.net/forum?id=HSKaGOi7Ar


来自香港城市大学、腾讯 AI 实验室、西安交通大学等的 Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、魏颖(Ying Wei) 合作的论文《元连续学习重温: 通过减小方差隐含地增强在线黑森逼近法》( Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction )。

(论文地址: https://openreview.net/forum?id=TpD2aG1h0D


来自伊利诺伊大学厄巴纳 - 香槟分校、微软的:Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao 合作的论文《模型告诉你该丢弃什么 LLM 的自适应 KV 缓存压缩》( Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs )。

(论文地址: https://openreview.net/forum?id=uNrFpDPMyo


其余获奖者,详见: https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/


审稿问题引发争议


然而,除了会议的火热与成果的瞩目,与此同时,两个顶级会议也因审稿程序而引发了不少争议。


其中,审稿人的不负责和审稿质量的下滑就受到不少人的诟病。


例如,有网友就吐槽审稿意见过于糟糕,甚至“表现得像个本科生”,给出了“有 2021 年之前的参考资料,它们太过时了”、 “结果并不是所有使用的数据集上最好的,所以该方法不起作用”、“仅使用小数据集”(论文明确用于小数据学习)等让人无语的理由。

(来源:Reddit @qalis)


也有网友抱怨自己的论文因为审稿人的耽误而被拒稿。

(来源:X @jd92wang)


ICML 的 Area Chair,Peter Richtarik 就批评道:因为一些审稿人明显错误的陈述,就毁掉了整个论文

(来源:X @peter_richtarik)


而 ICLR 这边更是如此,例如,此前就有国内网友爆出自己得分 8/8/8 的论文因 AC 的错误意见而拒绝。

(来源:知乎 @虚无)


此外,ICLR 还被质疑有接受非匿名论文,审稿人与论文作者串通的情况发生。

(来源:Reddit @ Melodic-Foundation47)


对此,ICLR 官方也回应道,已经调查到了一些违反道德准则的现象,包括抄袭、双重提交以及审稿人和作者团体串通等,正在进行后续的处理,并表示“ 有理由相信它们正在许多顶级人工智能会议上发生”。


(来源:ICLR 官网)


另外,AI 审稿的现象也引起不少争议。


之前我们就提到,据斯坦福大学 Weixin Liang 团队的研究显示(没错,又是这篇论文),在 ICLR 2024 等国际顶级会议的同行评审过程中,LLMs 参与已经越来越多,其中有 6.5% 到 16.9% 的评审可能经过了 LLMs 的实质性修改。


图丨ICLR 2024 同行评审中大概率由人工智能生成的词汇的出现频率变化(来源:arXiv)


而近期又有研究人员根据 ICLR 2024 的数据进行检测,发现有 大约 15.8% 的 ICLR 2024 会议论文评审有 AI 的辅助参与 ,这一数据也与 Weixin Liang 团队的研究结果接近。

图丨2018-2024 年人工智能辅助 ICLR 审查的估计流行率(来源:arXiv)


并且,他们还进一步发现,AI 辅助审核的评分要平均比人工审核高 0.14 分,而对于那些人类评审的分数等于 1(即最低分)时,AI 辅助评审的分数甚至要比人类评审的分数高 0.45 分(这也与此前我们提到的 Mike Thelwall 的研究结果类似)。

图丨 人工智 能辅助评论和人类评论之间的平均提交水平差异与人类参考分数的关系 (来源:







请到「今天看啥」查看全文


推荐文章
湖北经视  ·  突然宣布:免费开放使用!
昨天
湖北经视  ·  确认了:今夜抵达湖北!挺住!
昨天
湖北经视  ·  武汉疾控最新提醒!
2 天前
瞭望智库  ·  闯王之死
7 年前
南方人物周刊  ·  原创童书的温室之春丨一种关注
7 年前
十点读书会  ·  陈俊生 | 软弱的“好”男人,作恶最深
7 年前
虎嗅APP  ·  “穷人银行”的中国式迭代
7 年前