专栏名称: Python开发者

人生苦短，我用 Python。伯乐在线旗下账号「Python开发者」分享 Python 相关的技术文章、工具资源、精选课程、热点资讯等。

惊掉下巴！被字节起诉800万实习生，拿下NeurIPS 2024最佳论文

Python开发者 · 公众号 · Python · 2024-12-05 08:16

正文

转自：新智元

【导读】太戏剧了！攻击字节训练集群的实习生，居然刚刚获得了NeurIPS 2024最佳论文奖？虽然看起来像爽文剧情，但这位高材生接下来的路，应该是难走了。

刚刚，恶意攻击字节训练集群的实习生田柯宇，获得了NeurIPS 2024的最佳论文奖。

更巧的是，这篇获奖论文，恰恰就是他在字节商业化技术部门实习期间与团队合作发表的。

甚至，这篇论文还是NeurIPS 2024第六高分的论文（7,8,8,8）。

事情在网上曝出的时候，网友们都震惊了：太有戏剧性了，这是什么短剧的大反转剧情！

根据网友的说法，田柯宇的这篇论文也是国内第二篇NeurIPS Best Paper，含金量很高。

在此之前，他就已经有多篇论文中稿顶会。

比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」，就是ICLR 2023的Spotlight。此外还有，NeurIPS 2021和2020的Poster，ECCV 2020的Poster。

据新智元了解，字节商业化技术团队早在去年就把视觉自回归模型作为重要的研究方向，团队规划了VAR为高优项目，投入研究小组和大量资源。

除了VAR，团队还发表了LlamaGen等相关技术论文，新的研究成果也将在近期陆续放出。

事件始末：恶意注入代码，投毒模型训练

回看整件事情，可谓反转又反转。

两个月前，圈内人都被这样一条消息惊掉下巴：「字节跳动大模型训练被北大实习生攻击，损失巨大」。

什么仇什么怨，要做这样的事？

网友们扒出来，事情起因是这位北大高材生在字节实习期间对团队感到不满，一气之下选择了「投毒」。

具体来说，他利用了Huggingface的load ckpt函数漏洞，craft了一个看似正常的ckpt文件，但其实是加了payload进去，然后就可以远程执行代码，修改参数了。

这种攻击方式，可以通过修改或注入恶意代码，使模型在加载时被篡改模型权重、修改训练参数或截取模型数据。

根据大V「Jack Cui」猜测，这位实习生所用的大概就是这个方法，注入代码动态修改别人的optimer，修改参数梯度的方向，以及在各种地方随机sleep了一小段时间。

修改梯度方向，意味着模型反向传播过程中计算出的梯度被篡改，就导致模型一直朝错误的方向优化；而sleep操作，也会明显降低模型训练的速度。

甚至有人提到，该实习生可能修改了自己的预训练模型，因为模型参数是用ckpt文件保存的，其他人训练时会加载这个注入恶意代码的ckpt文件，因此也会导致模型训练出问题。

就在全网叹为观止之时，田本人却出来「辟谣」称这事和自己没关系——他发完论文后已经从字节离职了，此时有另一个人钻了漏洞修改模型代码，然后趁他离职把锅扣在他头上。

结果一个多月后，此事再一次迎来反转。

有媒体报道称，法院已经正式受理字节跳动对前实习生田某某的起诉。

法院判令田某某赔偿侵权损失800万元及合理支出2万元，同时要求其公开赔礼道歉。

字节官方也澄清说，涉事实习生破坏的是团队研究项目，并不影响商业化正式项目，也不涉及字节跳动大模型等其他业务。

最终，这位实习生被字节辞退，交由校方处理。

资料显示，田柯宇本科毕业于北航软件学院，研究生就读于北大，师从王立威教授，研究兴趣为深度学习的优化与算法。

自2021年起，开始在字节跳动实习研究，具体包括超参数优化、强化学习算法、自监督的新型算法。

超越扩散，VAR开启视觉自回归模型新范式

这项研究中，他们提出了一种全新范式——视觉自回归建模（Visual Autoregressive Modeling，VAR）。

论文地址：https://arxiv.org/abs/2404.02905

与传统的光栅扫描「下一个token预测」方法有所不同，它重新定义了图像上的自回归学习，采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。

这种简单直观的方法使得自回归（AR）Transformer能够快速学习视觉分布，并且具有较好的泛化能力：VAR首次使得类似GPT的AR模型在图像生成中超越了扩散Transformer。

当前，自回归模型（AR）主要用于语言模型从左到右、逐字顺序生成文本token。同时，也用于图像生成中，即以光栅扫描的顺序从左到右，从上到下顺序生成图像token。

不过，这些AR模型的scaling law未得到充分的探索，而且性能远远落后于扩散模型，如下图3所示。

与语言模型所取得成就相比，计算机视觉中的自回归模型的强大能力却被「禁锢」了起来。

而自回归建模需要定义数据的顺序，北大字节团队研究中重新考虑了如何「排序」图像：人类通常以分层方式感知或创建图像，首先捕获全局结构，然后捕获局部细节。

这种多尺度、由从粗到细的本质，为图像提供了一种「秩序」。

同样，受到广泛使用的多尺度设计的启发，研究人员将图像的自回归学习定义为图2(c)中的「下一个尺度预测」，不同于传统图2(b)中的「下一个token的预测」。

VAR方法首先将图像编码为多尺度的token映射，然后，自回归过程从1×1token映射开始，并逐步扩展分辨率。

在每一步中，Transformer会基于之前所有的token映射去预测下一个更高分辨率的token映射。

由此，研究人员将此称为视觉自回归建模（VAR）。

VAR包括两个独立的训练阶段：在图像上训练多尺度VQVAE，在token上训练VAR Transformer。

第一阶段，多尺度VQ自动编码器将图像编码为K个token映射R=(r_1,r_2,…,r_K)，并通过复合损失函数进行训练。

第二阶段，通过下一尺度预测对VAR Transformer进行训练：它以低分辨率token映射 ([s],r_1,r_2,…,r_K−1)作为输入，预测更高分辨率的token映射 (r_1,r_2,r_3,…,r_K)。训练过程中，使用注意力掩码确保每个r_k仅能关注 r_≤k。训练目标采用标准的交叉熵损失函数，用于优化预测精度。