明敏 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
本文经AI新媒体量子位（公众号 ID: QbitAI）授权转载，转载请联系出处
顶级“礼遇”。
一觉醒来，
OpenAI和Claude母公司都对DeepSeek出手了
。
据《金融时报》消息，OpenAI表示已经发现证据，证明DeepSeek利用他们的模型进行训练，这涉嫌侵犯知识产权。
具体来说，他们发现了DeepSeek“蒸馏”OpenAI模型的迹象。即使用
更大模型的输出
来提高较小模型的性能，从而以较低成本在特定任务上取得类似结果。
微软也开始调查DeepSeek是否使用OpenAI的API。
消息一出，最先迎来的是一波
嘲讽
。
纽约大学教授马库斯率先开喷：
OpenAI：我们需要免费用所有艺术家和作家的作品训练模型，这样我们就可以省下钱去起诉DeepSeek公然偷我们东西啦！
知名技术媒体404 Media创始人及主编Jason也直接在文章里贴脸开大，暗讽OpenAI只许州官放火。
先容我笑一会儿哈哈哈哈哈哈。真是令人难以置信的讽刺啊，OpenAI一直以“未经授权的方式”获取大量数据，也违反了一些组织的条款规定，结果现在他们却在指责自己的做法。
而另一边，Claude母公司Anthropic创始人Dario Amodei洋洋洒洒发了一篇长文大谈DeepSeek。
他表示，说DeepSeek构成威胁太夸张了，
“也就是我们7-10个月前的水准”
，Claude 3.5 Sonnet在许多内部和外部评估中依旧遥遥领先。
不过为了保持领先，我建议我们是不是得设置更多掣肘？
好家伙，为了围剿DeepSeek，竞对OpenAI和Anthropic罕见都罕见联手了。
相比之下，微软的做法就耐人寻味了许多。
就在指控DeepSeek涉嫌侵权之后几个小时后，
微软的AI平台上接入了DeepSeek模型
。
网友：俗话说，否认是接受的第一步。
AI领域常见技术，但违反OpenAI条款
各方消息汇总来看，微软和OpenAI对DeepSeek的质疑还处于调查中。
根据微软工作人员的说法，DeepSeek可能在去年秋天调用了OpenAI的API，这可能导致数据泄露。
按照OpenAI的服务条款规定，任何人都可以注册使用OpenAI的API，但是不能使用输出数据训练对OpenAI造成竞争威胁的模型。
OpenAI告诉《金融时报》，他们发现了一些模型蒸馏的证据，他们怀疑这是DeepSeek的所作所为。
目前，OpenAI拒绝进一步置评，也不愿提供证据细节。
那么不妨先来看看，引发争议的
模型蒸馏
是什么。
它是一种模型压缩技术，通过将一个复杂的、计算开销大的大模型（称为
教师模型
）的知识“蒸馏”到一个更小、更高效的模型（称为
学生模型
）。
这个过程的核心目标是让学生模型在轻量化的同时，尽量保留教师模型的性能。
在诺奖得主、深度学习之父Hinton的论文《Distilling the Knowledge in a Neural Network》中指出：
蒸馏对于将知识从集成或从大型高度正则化模型转移到较小的蒸馏模型非常有效。
比如Together AI前段时间的工作，就是把Llama 3蒸馏到Mamba，实现推理速度最高提升1.6倍，性能还更强。
IBM对知识蒸馏的文章中也提到，大多数情况下最领先的LLM对计算、成本提出太高要求……知识蒸馏已经成为一种重要手段，能将大模型的先进能力移植到更小的
（通常是）
开源模型中。因此，
它已经成为生成式AI普惠化的一个重要工具
。
在行业内，一些
开源模型
的服务条款允许蒸馏。比如Llama，DeepSeek此前也在论文中表示使用了Llama。
而且关键是，DeepSeek R1并非只是简单蒸馏模型，OpenAI首席科学家Mark Chen表示：
DeepSeek
独立发现
了OpenAI在实现o1过程中所采用的一些核心理念。
同时他也认可了DeepSeek在成本控制上的工作，并提到蒸馏技术的趋势，表示OpenAI也在积极探索模型压缩和优化技术，降低成本。
所以总结一下，模型蒸馏技术在学术界、工业界都非常普遍且被认可，但是违反OpenAI的服务条款。
这河狸吗？不知道。
但问题是，OpenAI
自己本身在合规性上也大有问题
。
（众所周知）
OpenAI训练模型把互联网上的数据扒了个干净，这其中除了免费公开的知识内容外，还包含大量有版权的文章作品。
2023年12月，《纽约时报》以侵犯知识产权为由，将微软OpenAI一起告上法庭。目前这个官司还没有最终判定结果，OpenAI这一年时间里就自己的行为向法院进行多次解释。
包括但不限于：
1、使用公开可获得的互联网资料训练AI模型是合理的，这在AI领域内有诸多先例，我们认为这对创作者是公平的，对于创新是必要的。
2、长期以来，版权著作被非商业性使用
（比如训练大模型）
是受到合理保护的。
3、大语言模型的关键是Scaling，这意味着任何单独被盗的内容都不足以支撑训练出一个大语言模型，这正是OpenAI模型为何领先。
也就是说，OpenAI本身都在违规使用《纽约时报》的数据训练
闭源、商业化的大模型
。现在他们要以违规为由，调查打造系列开源模型的DeepSeek。
再退一步，OpenAI如今的成就也是建立在谷歌的基础上
（Transformer架构由谷歌提出）
，谷歌的成就是站立在更早期的学术研究基础上。
404 Media表示，这其实是人工智能领域发展的基本逻辑。
“DeepSeek模型只在成本上领先”
就在OpenAI挑起矛盾的同时，Anthropic也下场了。
创始人Dario Amodei在个人博客中表达了对DeepSeek的看法。
他表示并没有把DeepSeek看做是竞争对手，认为DS最新模型的水平和他们7-10个月前相当，只是成本大幅降低。
（Claude 3.5）
Sonnet的训练是在9-12个月前进行的，而DeepSeek的模型于11月/12月进行了训练，而Sonnet在许多内部和外部Evals中仍然显着领先。
因此，我认为正确的说法是“DeepSeek生成了一种模型，用较低的成本（但没有宣传的那么低）实现了接近7至10个月以前的Claude的表现”。
同时他还认为，DeepSeek整个公司的成本投入
（非单个模型训练成本）
和Anthropic的AI实验室差不多。
奥特曼几乎保持了同样的口径。
他承认DeepSeek R1让人印象深刻
（尤其是成本）
，但OpenAI“很明显会带来更好的模型”。
这也是他的常规操作了，之前V3发布时，他就阴阳怪气说：相对而言，复制确定有用的东西是很容易的。
那么DeepSeek R1的价值究竟几何？
