专栏名称: arXiv每日学术速递
跟踪计算机视觉、人工智能、机器学习、NLP、语音识别、量化金融等热门方向学术信息
目录
相关文章推荐
腿姐考研政治课堂  ·  考研复试时间确定了!3月21日起? ·  11 小时前  
腿姐考研政治课堂  ·  考研复试时间确定了!3月21日起? ·  11 小时前  
九派新闻  ·  江苏一职院考研通过率100%遭质疑,老师回应 ·  10 小时前  
九派新闻  ·  江苏一职院考研通过率100%遭质疑,老师回应 ·  10 小时前  
考研斯基师兄  ·  复试|你为什么没过四六级? ·  昨天  
考研斯基师兄  ·  复试|你为什么没过四六级? ·  昨天  
小榄在线  ·  刚刚发布!分数线出炉 ·  昨天  
小榄在线  ·  刚刚发布!分数线出炉 ·  昨天  
小木虫  ·  【调剂专区】25考研调剂信息第32期 ·  2 天前  
51好读  ›  专栏  ›  arXiv每日学术速递

ICLR审稿集体搞抽象!评审结果写半句,还有的求ta也不审,网友:科研人自己的春晚

arXiv每日学术速递  · 公众号  ·  · 2024-12-05 14:14

正文

衡宇 发自 凹非寺 转载 | 量子位 | 公众号 QbitAI

今天,ICLR 2025的discussion phase的ddl已经截止。回看过去14天的讨论过程,可太精彩了!

各大平台上随手一翻就是作者们的吐槽大会,都在 无语这届ICLR评审的各种奇葩乱象

譬如UCSB博士生@JiachenLi11 就在推特上非常之无奈:

我收到的评审内容,低到令人担忧——其中一条评审甚至话都没说完。难道审稿人的tokens用完了吗???

图源推友@JiachenLi11

你还真别说,他这个“tokens用完”的吐槽并不是空穴来风——

ICLR 2025的论文提交数前所未有地高,约有11000篇。

为了提升审稿速度和质量,ICLR今年 引入了AI参与审稿工作

当然了,倒也不是单一AI,是多个AI大模型组成的Agent。

然而,你以为审稿人话不写完评审内容就点发送,就是ICLR 2025的全部槽点了吗?

ICLR吐槽大赏

要细数今年ICLR 2025的神奇事件,咱们先从最广为人知的一件说起:

[10,10,10,10]和3个poor得分并存

今年的ICLR出现了一篇 4个审稿人同时打出了10分的论文

假如这个分数能保持到中稿通知,这将是近5年来,ICLR的唯一一篇满分作文。

论文题目如下图,是一个叫 IC-Light (全称Imposing Consistent Light) 项目,是关于控制图像照明的。

作者张吕敏,也是大名鼎鼎的ControlNet的作者。

他在苏州大学拿到学士学位后,去往斯坦福读博。

IC-Light可以随意控制照片主体的光源和背景,将主体、光源、背景三者迅速地融合在一张图片里。

半年前,IC-Light就在GitHub上开源,现在共6.5k星。

与此同时,ICLR 2025还出现了几篇,某一审稿人给某篇论文全打1分的论文。

这里我们打断一下,了解一下ICLR的评分体系:

  • 1分: 太差了

  • 3分: 拒绝

  • 5分: 婉拒了哈

  • 6分: 接……吧

  • 8分: 接收

  • 10分: 强接收

就拿其中一篇来说吧,看到这个结果给作者气的, 写了一篇十几页的strong rebuttal

那审稿人为什么给人家Soundness、Presentation、Contributions都给了1分?

审稿人言辞非常犀利,直呼 Paper Writing is quite bad ,然后还毫不客气地提问:“Is there a human author on this paper?”

审稿人还表示, (这也是全部最低分的最重要一点) ,我们是可以判断一篇论文是人写的还是AI写的,“也许您在生成文本时没有进行基本的连贯性检查”。

作者继续输出长篇大论rebuttal,并回击“我可真钦佩你识别AI的能力”。

作者5页回应,审稿人在ddl突然否定领域

一位在北大CS读博的小某书网友@Kevin 对审稿人的神操作大吐苦水。

事情是这样的,ICLR不是共14天用来discussion phase嘛。

这14天里,有一位审稿人5,一共对他所在团队提交的paper提出了10个问题。

团队认真回复了整整五页,审稿人5已读不回。

团队多次希望与其讨论,审稿人5已读不回。

总之就是一整个石沉大海。

到了昨天,也就是discussion phase的 最后一天,“审稿人5突然否定这个领域,并将5分改为3分”。

@Kevin非常不理解为什么审稿人这样做的意图。

真的就,令人心碎的discussion phase。

“你需要引用另一篇ICLR 2025投稿”

推友@PandaAshwinee (普林斯顿博士毕业,现在在Trails.ai从事博后工作) 给看热闹的网友们画了个自己接收到的评审内容的亮点:

你需要引用另一篇ICLR 2025的投稿。

展开说说,就是审稿人链接了ICLR 2025 openreview的另外一篇论文,表示两个项目高度相关,所以小哥应该引用。

但是哭啊,小哥查过了, 要求被引的论文根本不在arXiv上

而且这不是他第一次感觉“天塌了”——他在评论区补充,之前他的项目在ICML 2024被拒,主要原因也是“与另一篇ICML 2024投稿高度相似”。

不过ICLR很快在小哥推文下面回复了,表达程序主席开始调查这个事儿。

“乞讨式”ICLR

前面提到的都是审稿人和作者有来有回 (哪怕回得慢) 的激情battle,更有意思的事是,无论国内还是国外,很多人都把这届称为“乞讨式”ICLR。

简而言之,就是审稿人 一直不给评审不给分

有人上个月下旬的时候,就开始给所有AC (区域主席) 发了邮件,要求他们提醒审稿人回复作者。

或者至少确认审稿人们知道自己还得干这活。

当时就有网友提醒“最坏的打算”,有的审稿人会拖到最后一刻,因为他们也在为自己措辞……

果不其然,单看国内,昨天开始24h内倒计时了,很多作者还在恳求审稿人快快评审,快快给分。

哎。

对作者的奇怪请求

在Google DeepMind工作的Ahmad Beirami (@abeirami) 分享了一则讯息:

发到推特上后,有ICLR作者表示出了疑惑:

如果作者们写了这玩意儿,是否真的对审稿有帮助?

他觉得这“可能是在浪费时间”,因为审稿人完全可能看都不看,直接去看paper原文。一切都是徒劳的。

不过Ahmad很快回复了这位作者:

Yes!
作为一名AC,我想确保我没有从作者的角度遗漏任何内容。可能会有很多变化、新结果等。我想确保我知道在哪里找到它们,以便能够形成观点,判断一些原始评论/关注是否适用。

得到这个答复后,作者小哥很愉快地去添加注释去了。

ICLR 2025为何这样

以上种种,只是大家或身在其中/或围观看热闹的ICLR 2025的一点点故事而已。

但,身为权威顶会,为什么会这样?

有的人认为和今年的稿件数量有关。

官方数据显示,ICLR 2025的论文提交数量达到了11,000多篇,同比增长61%。

而去年ICLR 2024组委会收到的投稿总数为7,262篇——当然了,对那时候的ICLR来说也是不小的工作量,同比增长了47%。







请到「今天看啥」查看全文