【新智元导读】
一年一度的ICML 2024录用结果出炉！今年投稿量再涨3000+，达到9653，审稿意见质量太差，AC还得重读论文才能确定结论。
刚刚，ICML 2024顶会最终录用结果，公布了！
本次会议的投稿量初步统计为9653篇，而去年的投稿量只有6538篇。
第42届ICML会议（每年一次）将于7月21-27日在奥地利维也纳举办，中稿的小伙伴可以开始准备了！
从历年的统计中可以看到，ICML的投稿量增长速度非常快，今年更是创下了历史新高，提交量大涨3000多篇。（2024年分数统计来自作者问卷填写）
作为会议的AC，Peter Richtarik表示他总共处理了19篇论文，接受论文的平均分为4.25-6.33，被拒论文的平均分为2.60-6.00。
他也指出了一个严峻的问题，就是审稿意见的质量太差了，不管是正向还是负面的意见，有很多都是错误的，导致自己经常很晚才能提交meta-review，不得不亲自读一遍论文。
有网友分享经历，论文收到的评分为7/3/3/4，被拒稿了，他只认可其中一人的审稿意见，另外两个人的表现完全就像是「本科生」。
他们给出的意见包括「不是预训练的神经网络，不能很好地泛化」、「只使用了小数据（论文明确说明用于小数据学习）」、「基于树的方法无法扩展」、「结果并不是所有使用的数据集上最好的，所以该方法没用」、「有 2021 年之前的参考资料，太过时了」之类的逆天言论。
另一个被拒稿的评分为6653，作者认为其中3人明显误解了方法，并在rebuttal环节中道歉了，但只是将置信度分数从4更改为3，然后AC还是决定拒稿。
只能说，被拒稿倒是小事，审稿水平低才是大问题。
也有网友分享了他的励志经历，被拒稿4次之后，当时还以为自己毫无价值，现在终于中了博士生涯的第一篇论文，得偿所愿了！
大模型加速器
滑铁卢大学矢量研究所、北京大学、微软研究院的研究人员提出的「可提高语言模型效率的外推算法」EAGLE被ICML 2024录用。
EAGLE是一种快速解码大型语言模型 (LLMs) 的全新基线模型，通过实验证明了模型性能几乎不会损失，该方法将LLMs第二顶层的上下文特征向量进行外推，从而显着提高生成效率：
论文链接：https://arxiv.org/pdf/2401.15077
项目主页：https://sites.google.com/view/eagle-llm
1、生成速度比标准解码（13B）快3倍、比Lookahead (13B) 快 2 倍、比 Medusa (13B) 快 1.6 倍
2、在生成文本的分布中，证明了其结果与普通解码具有一致性；
3、1-2天内可训练完毕，在8x RTX 3090 GPU 上进行测试，即使GPU资源匮乏的人也能使用该算法加速；
4、可与其他并行技术相结合，例如vLLM、DeepSpeed、Mamba、FlashAttention、量化和硬件优化。
用大模型进行结构化学推理
伊利诺伊大学厄巴纳-香槟分校、上海交大、纽约大学等机构的研究人员发布的StructChem，使用了一种简单而有效的提示策略，就可以让LLMs进行复杂的化学推理。
研究人员发现LLM通常拥有解决复杂化学挑战所需的基本知识，但却缺乏解锁正确/相关知识和指导精确、逐步推理所需的结构化推理。
论文链接：https://arxiv.org/abs/2311.09656
项目主页：http://ozyyshr.github.io/StructChem
文中总结了当前最先进的LLM（例如GPT-4）无法解决的四个主要错误。
新方法StructChem包括三个步骤，可以作为LLM的引导：
1、公式收集，要求LLM提供公式及其解释作为基础；
2、逐步推理，以PoT生成的公式为基础，确保精确性；
3、基于置信度的审查和细化，进一步检查每个推理步骤的准确性。
在SciBench上进行的实验结果显示，StructChem在few-shot和zero-shot设置的复杂化学难题中实现了30%的性能飞跃。
从fMRI重建图像
值得一提的是，来自Stability AI、医学AI研究中心（MEDARC）等机构的研究人员升级了模型MindEye2。
只需要1小时的数据，它便可以从fMRI大脑活动中重建和检索图像，甚至可以将2D图像转化为3D视频，堪称一项革命性的技术。
这篇论文同时被ICML和ICLR接收。
而在实际的应用中，MindEye2表现出了惊人的性能。比如，在图像检索任务中，其准确率超过90%，超越以往的方法。
另外，得益于使用预训练的生成模型，MindEye2在图像重建方面也取得了显著的效果。
论文地址：https://arxiv.org/pdf/2403.11207
生成式机器人智能体
来自CMU、清华大学交叉信息研究院、MIT等机构的研究人员提出的RoboGen论文被接受收。
这项研究提出的RoboGen，是一种通过通过生成式模拟，自住学习多种机器人技能的生成机器人智能体。
最新方法利用了基础模型和生成模型的最新进展。
论文地址：https://arxiv.org/pdf/2311.01455
不是直接使用或调整这些模型来产生策略或低级别的行动，而是生成式方案，其用这些模型来自动生成多样任务、场景和训练监督，从而在最少的监督下扩大机器人技能学习。
博弈学习
论文解决了在单调博弈（monotone games）中学习纳什均衡的问题，其中收益函数的梯度在策略配置文件空间中是单调的，可能包含加性噪声。
论文链接：https://arxiv.org/pdf/2305.16610
研究人员首先建立一个统一的框架来学习单调游戏中的平衡，适应完整和嘈杂的反馈；
然后在不考虑噪声的情况下，构建出趋向于近似平衡的收敛率。
最后通过更新弹弓策略（slingshot strategy）来引入一个转折（twist），以有限的间隔锚定当前策略，使得模型能够确定具有保证率的基础博弈的确切纳什均衡。
文中所提出的框架非常全面，集成了现有的收益扰动算法，并且通过实验证明了，基于该框架的算法可以显着加速收敛。
图高斯过程
来自伦敦大学AI中心的研究人员，关于图高斯过程的论文正式被ICML接受。
行业内对开发图机器学习模型以解决拓扑归纳偏差产生了很大的兴趣，特别是对此类结构的高斯过程给予了高度关注，可以用来解释不确定性，但图仅限于对两个顶点之间的关系进行建模。
该论文不止使用二元任务设置，而是考虑多元关系，包括顶点、边及单元（cells）之间的相互作用。
