AI一周写出ICLR研讨会论文！成果简洁有效获审稿人大赞

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

AI写的论文已经在ICLR的研讨会上通过了同行评审，还是一口气中就中了两篇。

其中一篇获得了 7/6/7 的同行评审分数，另一篇的审稿人也给出了 7/7 的成绩。

而且从假设生成到同行评审出版整个流程都是AI自主完成， 一篇用时仅需不到一周 。

这个“AI科学家”名为 Zochi ，由名为的Intology初创企业打造，成立刚刚不到两个月。

两名联创分别是连续创业者 Ron Arel 和前Meta华人研究员 Andy Zhou ，两人均毕业于伊利诺伊大学厄巴纳-香槟分校。

Zochi入选的两篇论文，是以Andy Zhou名义进行投稿的，内容分别是：

• 子空间级别微调方法CS-ReFT ，能够让7B的Llama-2在AlpacaEval中超过GPT-3.5，同行评审7/6/7；

• 大模型安全漏洞检测框架Siege ，针对GPT-3.5-Turbo的检测准确率为100%，审稿人打分7/7。

并且在基于NeurIPS规则的自动打分程序的评审中，Zochi 两篇论文均获得了8分的成绩 。

两篇论文入选ICLR

Zochi被ICLR研讨会相中的两篇论文具体内容，接下来就一起来了解~

让7B Llama-2超越GPT-3.5

第一篇论文，提出了一种名为CS-ReFT的子空间级别微调方法。

Zochi发现了AI发展中的一个关键瓶颈—— 参数高效微调中的跨技能干扰 。

也就是说，当同时将模型应用于多个任务时，一项技能的改进往往会降低其他技能的性能。

研究之后，Zochi提出了CS-ReFT方法，部分基于ReFT改造而来，但重点是表示编辑而不是权重修改。

具体来说，不同于LoRA等方法在权重级别实现正交性约束，CS-ReFT将这些约束直接应用于隐藏状态表示。

这种方法使得 每个任务都有其专用的子空间变换 ，反之，每个变换都专注于一项独特的技能，从而消除了跨技能干扰。

当应用于Llama-2-7B时，CS-ReFT在AlpacaEval上取得了93.94%的胜率， 用不到万分之一的参数超过了GPT-3.5-Turbo （86.30%）。

评审人员称赞，这是一个“聪明的想法”，并且“有效解决了ReFT 的一个关键限制”。

发现大模型安全漏洞

第二篇论文，关于 大模型安全 。

从现有的安全文献出发，Zochi提出了Siege框架，它 使用树搜索算法增强了多轮越狱策略 。

Zochi发现，模型在轻度违规在对话中累积的过程中会表现出“部分服从”行为，即在看似维护安全规则的同时附带产生一些违规的信息片段。

Siege就是利用这种现象，系统地识别和利用对话分支中的轻微违规，通过积累实现越狱攻击。

它将每个对话状态视为搜索树中的一个节点，采用定向搜索来并行探索多种攻击策略。

该框架其核心创新是一种复杂的部分合规性跟踪机制，可以识别和利用增量政策泄漏。

与以前的方法相比，Siege使用更少的查询， 在GPT-3.5-Turbo上实现了100%的成功率 ，在GPT-4上实现了 97% 的成功率。

审稿人评价称，Siege是一种“有效、直观的方法” ，并且告知了人们需要重新评估现有的人工智能防御策略。

预测蛋白质-核酸结合位点

除了这两篇之外，还有一篇论文和计算生物学相关，由于完成时已经错过了ICLR会期，转而投稿期刊，目前正在接受审查。

这项研究提出了一种名为 EGNN-Fusion 的架构，能够 预测蛋白质-核酸结合位点 。

它的性能可与最先进的方法相媲美，同时将参数数量减少了95%，体现了Zochi跨领域迁移知识和解决AI之外的复杂科学挑战的能力。

和前面两篇一样，这篇论文也进行了程序自动化评分，得分为7分，所以Zochi三篇论文的平均成绩为7.67。

多智能体协作完成科研流程

除了能在不到一周的时间内自主写出一篇高质量论文之外， Zochi还挑战了MLE-Bench的Kaggle子集