向AI未知之境出发，字节跳动启动 Seed Edge 研究计划！

字节跳动技术团队 · 公众号 · AI 科技自媒体 · 2025-01-23 18:34

正文

为支持以更长周期攻坚 AI 课题，豆包大模型团队正式启动 Seed Edge 研究计划！

Seed Edge 以寻找通用智能的新方法为目标，专注于对智能边界的探索和长期研究挑战。

Seed Edge 鼓励探索更长周期、具有不确定性和大胆的 AI 研究课题，也鼓励跨模态、跨方向的交叉合作，为项目成员提供宽松的研究环境，并实行更长周期的考核方式，让大家可以放手去挑战真正颠覆性的 AI 课题！

目前，Seed Edge 初步确定了五大研究方向，将为所有入选课题提供单独的算力资源保障。Seed Edge 初步研究方向包括：

探索推理能力的边界

以 o1 为代表的技术路线证明了推理能力可以推动智能边界提升，我们也在实践中发现对推理能力的研究才刚刚开始，有大量未探索的问题值得去深耕。无论是预训练算力级别的大规模强化学习，还是预训练和强化学习的迭代，或是可泛化的 Test-Time Scaling ，每一项技术突破都会推动智能边界前进一步。

探索感知能力的边界

我们相信智能和交互是相辅相成的，通用模型除了有极高的智能水平，还需要具备极强的和人类沟通交流的能力。我们会统一生成和理解表示，探索世界模型建模；从真实世界原始数据直接进行压缩，探索比语言更好的对世界进行表示的建模，突破智能的边界受限于语言的约束。

探索软硬一体的下一代模型设计

Transformer 的高效很大程度上取决于它与 GPU 的适配性，能充分发挥 GPU 的性能。我们希望面向下一代训练和推理硬件的结构特点设计下一代模型，从软硬件一体的角度思考未来的模型结构特性，达到训练效率、推理效率、模型性能的多目标同时优化，并进一步压榨下一代硬件的能力，突破模型能力的边界。

探索下一代学习范式

探索对未来的学习范式有变化的方向，挑战现有范式的“共识”，给更高效地实现通用智能提供基础和可能性。通过可解释性研究理解模型学习能力的来源，并进一步提出新的学习视角，探索模型在学习过程中的表现，和生物启发的学习过程对比，发现现有模型学习范式可以改进的空间：探索比 Next-Token Prediction 更高效的学习目标；探索比 Backpropagation 更高效的学习方法；探索比大数据 Pretraining + Alignment 更高效的学习范式。

探索下一个 Scaling 方向

继 Pretraining Scaling 和 Test-Time Scaling 之后，下一个 Scaling 方向对未来智能边界的演化会起到重要的作用。探索下一个 Scaling 方向，并推动智能边界的进步。