摘要：
投资建议：随着Transformer架构大模型在算力侧成本攀升，升级迭代遇到瓶颈，技术路线相关探索有望打造性能更优、应用范围更专更准的AI大模型。
巨额算力投入成为技术和效益优化的瓶颈，技术路径破局迫在眉睫。从效益端看，基于Transformer架构的模型在训练计算量（training FLOPs）达到一定量级时，模型性能才出现向上的“拐点”，因此在大模型训练任务中，算力成为必须的基础性资源。但随着模型越来越大，算力成本越来越高，成本飙升源于模型复杂度和数据量攀升对计算资源的需求。Anthropic首席执行官表示，三年内AI模型的训练成本将上升到100亿美元甚至1000亿美元。巨额的大模型训练投入一定程度减缓了技术进步和效益提升，因此技术路径破局尤为关键。当前MoE以及OpenAI o1的“思维链”是重要探索实践。
MoE框架是对Transformer架构的优化，关键在于路由策略及微调。其能在不给训练和推理阶段引入过大计算需求的前提下大幅提升模型能力。在基于Transformer的大型语言模型（LLM）中，每个混合专家（MoE）层的组成形式通常是𝑁个“专家网络”搭配一个“门控网络”G。门控函数（也被称路由函数）是所有 MoE 架构的基础组件，作用是协调使用专家计算以及组合各专家的输出。根据对每个输入的处理方法，该门控可分为三种类型：稀疏式、密集式和soft式。其中稀疏式门控机制是激活部分专家，而密集式是激活所有专家，soft式则包括完全可微方法，包括输入token融合和专家融合。MoE在NLP、CV、语音识别以及机器人等领域表现出色，且在更高性能的大模型推理芯片LPU加持下，MoE模型提升效果显著。
OpenAI o1基于“思维链”的创新推理模式，学会人类“慢思考”，专业领域的效果突出。OpenAI o1相比之前的AI大模型最跨越性的一步在于拥有人类“慢思考”的特质：系统性、逻辑性、批判性、意识性。在响应用户提出的难题之前，OpenAI o1会产生一个缜密的内部思维链，进行长时间的思考，完善思考过程、意识逻辑错误、优化使用策略、推理正确答案。这种深度思考能力在处理数学、编程、代码、优化等高难度问题时发挥重要作用，能够进行博士级别的科学问答，成为真正的通用推理。推理侧的应用模式创新有望在更为专业的领域创造价值应用，从通用的偏娱乐领域逐步过渡到偏严肃的专业领域场景，AI大模型的真正实践价值有望进一步释放，因此o1模型提供的新应用范式和能力维度在大模型技术路线演绎中，具有里程碑意义。
风险提示：技术迭代不及预期，AI应用市场拓展节奏不及预期。
文章来源
本文摘自：2024年9月20日发布的《MoE与思维链助力大模型技术路线破局》
李博伦，资格证书编号：S0880520020004
伍 巍，资格证书编号：S0880123070157
重要提醒
本订阅号所载内容仅面向国泰君安证券研究服务签约客户。因本资料暂时无法设置访问限制，根据《证券期货投资者适当性管理办法》的要求，若您并非国泰君安证券研究服务签约客户，为保证服务质量、控制投资风险，还请取消关注，请勿订阅、接收或使用本订阅号中的任何信息。我们对由此给您造成的不便表示诚挚歉意，非常感谢您的理解与配合！如有任何疑问，敬请按照文末联系方式与我们联系。
法律声明
本公众订阅号(微信号: GTJARESEARCH )为国泰君安证券股份有限公司(以下简称“国泰君安证券”) 研究所依法设立、独立运营的唯一官方订阅号。其他机构或个人在微信平台上以国泰君安研究所名义注册的，或含有“国泰君安研究"，或含有与国泰君安证券研究所品牌名称相关信息的其他订阅号均不是国泰君安证券研究所官方订阅号。
本订阅号不是国泰君安证券研究报告发布平台，本订阅号所载内容均来自于国泰君安证券研究所已正式发布的研究报告，如需了解详细的证券研究信息，请具体参见国泰君安证券研究所发布的完整报告。
在任何情况下，本订阅号的内容不构成对任何人的投资建议，国泰君安证券也不对任何人因使用本订阅号所载任何内容所引致的任何损失负任何责任。
本订阅号所载内容版权仅为国泰君安证券所有，国泰君安证券对本订阅号保留一切法律权利。订阅人对本订阅号发布的所有内容(包括文字、影像等)进行复制、转载的，需注明出处为“国泰君安研究”， 且不得对本订阅号所载内容进行任何有悖原意的引用、删节和修改。
