衡宇 发自 凹非寺 转载 | 量子位 | 公众号 QbitAI
今天,ICLR 2025的discussion phase的ddl已经截止。回看过去14天的讨论过程,可太精彩了!
各大平台上随手一翻就是作者们的吐槽大会,都在
无语这届ICLR评审的各种奇葩乱象
。
譬如UCSB博士生@JiachenLi11 就在推特上非常之无奈:
我收到的评审内容,低到令人担忧——其中一条评审甚至话都没说完。难道审稿人的tokens用完了吗???
△
图源推友@JiachenLi11
你还真别说,他这个“tokens用完”的吐槽并不是空穴来风——
ICLR 2025的论文提交数前所未有地高,约有11000篇。
为了提升审稿速度和质量,ICLR今年
引入了AI参与审稿工作
。
当然了,倒也不是单一AI,是多个AI大模型组成的Agent。
然而,你以为审稿人话不写完评审内容就点发送,就是ICLR 2025的全部槽点了吗?
ICLR吐槽大赏
要细数今年ICLR 2025的神奇事件,咱们先从最广为人知的一件说起:
[10,10,10,10]和3个poor得分并存
今年的ICLR出现了一篇
4个审稿人同时打出了10分的论文
。
假如这个分数能保持到中稿通知,这将是近5年来,ICLR的唯一一篇满分作文。
论文题目如下图,是一个叫
IC-Light
(全称Imposing Consistent Light)
项目,是关于控制图像照明的。
作者张吕敏,也是大名鼎鼎的ControlNet的作者。
他在苏州大学拿到学士学位后,去往斯坦福读博。
IC-Light可以随意控制照片主体的光源和背景,将主体、光源、背景三者迅速地融合在一张图片里。
半年前,IC-Light就在GitHub上开源,现在共6.5k星。
与此同时,ICLR 2025还出现了几篇,某一审稿人给某篇论文全打1分的论文。
这里我们打断一下,了解一下ICLR的评分体系:
-
1分:
太差了
-
3分:
拒绝
-
5分:
婉拒了哈
-
6分:
接……吧
-
8分:
接收
-
10分:
强接收
就拿其中一篇来说吧,看到这个结果给作者气的,
写了一篇十几页的strong rebuttal
。
那审稿人为什么给人家Soundness、Presentation、Contributions都给了1分?
审稿人言辞非常犀利,直呼
Paper Writing is quite bad
,然后还毫不客气地提问:“Is there a human author on this paper?”
审稿人还表示,
(这也是全部最低分的最重要一点)
,我们是可以判断一篇论文是人写的还是AI写的,“也许您在生成文本时没有进行基本的连贯性检查”。
作者继续输出长篇大论rebuttal,并回击“我可真钦佩你识别AI的能力”。
作者5页回应,审稿人在ddl突然否定领域
一位在北大CS读博的小某书网友@Kevin 对审稿人的神操作大吐苦水。
事情是这样的,ICLR不是共14天用来discussion phase嘛。
这14天里,有一位审稿人5,一共对他所在团队提交的paper提出了10个问题。
团队认真回复了整整五页,审稿人5已读不回。
团队多次希望与其讨论,审稿人5已读不回。
总之就是一整个石沉大海。
到了昨天,也就是discussion phase的
最后一天,“审稿人5突然否定这个领域,并将5分改为3分”。
@Kevin非常不理解为什么审稿人这样做的意图。
真的就,令人心碎的discussion phase。
“你需要引用另一篇ICLR 2025投稿”
推友@PandaAshwinee
(普林斯顿博士毕业,现在在Trails.ai从事博后工作)
给看热闹的网友们画了个自己接收到的评审内容的亮点:
你需要引用另一篇ICLR 2025的投稿。
展开说说,就是审稿人链接了ICLR 2025 openreview的另外一篇论文,表示两个项目高度相关,所以小哥应该引用。
但是哭啊,小哥查过了,
要求被引的论文根本不在arXiv上
。
而且这不是他第一次感觉“天塌了”——他在评论区补充,之前他的项目在ICML 2024被拒,主要原因也是“与另一篇ICML 2024投稿高度相似”。
不过ICLR很快在小哥推文下面回复了,表达程序主席开始调查这个事儿。
“乞讨式”ICLR
前面提到的都是审稿人和作者有来有回
(哪怕回得慢)
的激情battle,更有意思的事是,无论国内还是国外,很多人都把这届称为“乞讨式”ICLR。
简而言之,就是审稿人
一直不给评审不给分
。
有人上个月下旬的时候,就开始给所有AC
(区域主席)
发了邮件,要求他们提醒审稿人回复作者。
或者至少确认审稿人们知道自己还得干这活。
当时就有网友提醒“最坏的打算”,有的审稿人会拖到最后一刻,因为他们也在为自己措辞……
果不其然,单看国内,昨天开始24h内倒计时了,很多作者还在恳求审稿人快快评审,快快给分。
哎。
对作者的奇怪请求
在Google DeepMind工作的Ahmad Beirami
(@abeirami)
分享了一则讯息:
发到推特上后,有ICLR作者表示出了疑惑:
如果作者们写了这玩意儿,是否真的对审稿有帮助?
他觉得这“可能是在浪费时间”,因为审稿人完全可能看都不看,直接去看paper原文。一切都是徒劳的。
不过Ahmad很快回复了这位作者:
Yes!
作为一名AC,我想确保我没有从作者的角度遗漏任何内容。可能会有很多变化、新结果等。我想确保我知道在哪里找到它们,以便能够形成观点,判断一些原始评论/关注是否适用。
得到这个答复后,作者小哥很愉快地去添加注释去了。
ICLR 2025为何这样
以上种种,只是大家或身在其中/或围观看热闹的ICLR 2025的一点点故事而已。
但,身为权威顶会,为什么会这样?
有的人认为和今年的稿件数量有关。
官方数据显示,ICLR 2025的论文提交数量达到了11,000多篇,同比增长61%。
而去年ICLR 2024组委会收到的投稿总数为7,262篇——当然了,对那时候的ICLR来说也是不小的工作量,同比增长了47%。