Magic开发了一个专门针对代码的语言模型——LTM-2-mini。
它的上下文窗口，包含1亿个token，相当于1000万行代码，或750部小说。
这远远超出了以前的限制，AI模型的运作方式，从此可能从根本上改变！
而且，LTM-2-mini采用了序列维度算法，这种计算效率要比Llama 3.1 405B的注意力机制高出约1000倍。
这种能力，极大地扩展了模型在实际应用中的适用范围。在软件开发中，模型可以利用整个代码库、相关文档和库，来生成更高质量的代码了！
在这个过程中，团队还设计了一个新的评估上下文长度和可靠性的体系HashHop，取代了「大海捞针」。
哈希是随机的，因此是不可压缩的，这就要求模型能够在任何时候，存储和检索给定上下文大小的最大可能信息内容。
而写出所有中间哈希值，就类似于思维链如何让模型在时间上展开推理。
果然，Magic团队的成果已经获得了大佬投资者的青睐。
现在，团队已经获得4.65亿美元融资了。Eric Schmidt、Jane Street、红杉资本和Atlassian等，就已经投资了3.2亿美元。
Magic所采用的LTM（长期记忆）机制所需的计算和内存，比Llama 3.1 405B的注意力机制少了1000多倍，这个对比太鲜明了。
Llama 3.1的每个用户，都需要638个H100来存储1亿token的KV缓存，而LTM只需要其中的一小部分。
此前流行的「大海捞针」，存在很多弱点，SSM、RNN和RAG都是利用了它们。
因此，这次团队为了规避「大海捞针」的弱点，
专门创建了全新的评估方法HashHop
——
1. 不可压缩
2. 多跳
3. 无语义提示
在解决了上下文问题之后，现在就可以专注于无限推理时间的计算能力了！
这，很可能就是构建AGI所需的下一个突破，甚至，是最后一个突破。
只要花费100美元，你就可以在10分钟内完成一个任务，还能获得一个可靠的具有完整功能的pull request。
现在，这个拥有8000个H100的23人团队，还有一个更大的目标：共同设计长上下文、推理时间的计算能力和端到端强化学习，实现编码和研究的全自动化。
网友感慨：所以，团队是同时构建了SSM、RNN或Transformer？
知名AI博主Chubby感慨道：我的天，它成功勾起了我的好奇心——基准测试结果到底如何。
3200万token，100%召回率，这太疯狂了！
SOUND VENTURES的投资人更是表示，Magic团队在上下文上的取得突破，可以说是改变了游戏的规则。
比如，为什么专挑Llama 3.1 405B做对比呢？如果模型比405B小100倍，那比它便宜1000倍，也是有可能的。
而且，团队也没有给出模型或论文之类更硬核的东西，甚至没有说明需要多少内存。
说了这么多，论文在哪里？
另外还有人质疑：即使是在大海捞针中准确率达到100%的模型，有效上下文长度也往往超不过32k，因此仅仅增加理论窗口，是没有意义的。
目前，AI 模型有两种学习方式：训练和推理时的上下文中的学习。
由于上下文相对较短，训练一直占据主导地位。但超长上下文，可能会改变这一点。
而LTM（长期记忆）模型并不依赖模糊记忆，而是在推理时被训练处理多达1亿token的上下文。
就如上文所说，如果模型能够在上下文中包含所有代码、文档和库，包括那些不在公共互联网上的代码，代码合成的表现，提升将是惊人的。
上下文窗口评估
团队首先就上来强调说，当前的长上下文评估并不理想。
流行的「大海捞针」评估是在长上下文窗口（「海」）放置一个随机事实（「针」），并让模型检索该事实。
然而，在一本关于鲸鱼的小说中，「在Blue Bottle喝咖啡的Arun和Max」显得格外突出。
通过学习识别这种「针」的不寻常性质，模型可以忽略「海」中其他本来相关的信息，从而将所需的存储容量减少到低于处理真实任务时的水平。
并且，模型只需要关注上下文中一个微小且语义上可识别的部分即可。于是，像RAG这样的方法也能获得成功。
Mamba和H3的归纳头基准测试，使这一点变得更加容易。
在训练中，它们使用了一个特殊的token，来明确标记针的开始，使评估的存储和检索难度降低到O(1)。
这就好比，在开始学习之前就知道考试中会出现哪个问题一样。
正是这些微妙的缺陷，削弱了当前长上下文评估的有效性，使传统的递归神经网络（RNN）和状态空间模型（SSM）能够取得好成绩，尽管它们从根本上限制了O(1)大小的状态向量。
为了消除这些隐性和显性语义提示，Magic设计了一种全新的方法——HashHop。
哈希是随机的，也是不可压缩的。因此，这将要求模型能够随时从给定上下文大小的最大可能信息内容中，进行存储和检索。
这用于衡量单步归纳头的出现，但实际应用通常需要多步，比如在代码库中进行变量赋值或库导入的情况。
为了确保顺序和位置的无关性，在提示词中打乱哈希对的顺序：
写出所有中间哈希值类似于思维链，让模型可以在时间上展开推理。
此外，团队还提出了一种更具挑战性的版本，其中模型跳过步骤，例如直接从哈希1跳到哈希6：
这要求模型架构能够在潜空间中一次性关注并跨越整个上下文的多个点。
效果如何？
接下来就让我们看看Magic提出的第一个拥有1亿token上下文的模型——LTM-2-mini。
就如上文所说，对于每个解码的token，LTM-2-mini的序列维度算法在1亿token上下文窗口中比Llama 3.1 405B的注意力机制便宜大约1000倍。
运行具有1亿token上下文的Llama 3.1 405B，仅仅是存储单个1亿token的KV缓存，就需要每个用户638个H100。
相比之下，LTM的每个用户在相同上下文中，只需要使用单个H100的HBM的一小部分。
在哈希值上进行思维链训练后，LTM架构得到了以下结果：
在特定模型的超参数选择中，当尝试3跳或更多跳而不使用思维链时，性能会下降。
但尝试2跳（哈希1→哈希3）时，即便没有思维链也可以得到很好的结果。
最后，团队还使用超长上下文机制在文本到差异的数据上训练了一个原型模型。
它比SOTA模型小了几个数量级，因此代码合成能力还不够好，但偶尔也会产生合理的输出：
虽然对于使用 React 等知名框架的先进模型来说，生成计算器是一项简单的任务，但使用自定义的上下文框架更具挑战性。
其中，模型的提示只有代码库和聊天记录（没有打开的文件、编辑历史或其他指示）。
这里，LTM模型成功地使用自定义的上下文GUI框架创建了一个计算器，展示了实时学习的能力。
对于这个问题的描述，实际上要在比现实场景中更加具体，并且这项功能在许多web应用程序中很常见。
尽管如此，一个比当今SOTA模型小几个数量级的模型，仍然能够在无人协助的情况下编辑复杂的代码库。
可以看到，LTM模型能够在没有人工干预的情况下，为开源仓库Documenso实现一个密码强度计。
与Google Cloud合作
目前Magic正在Google Cloud上构建两台超级计算机，计划于明年上线：
- Magic-G4，由NVIDIA H100 Tensor Core GPU提供支持
