专栏名称: 云头条

引领科技变革，连接技术与商业

文心大模型：日均调用量超 7 亿次，旗舰模型一年降价超 90%

云头条 · 公众号 · · 2024-09-25 23:33

正文

2024 年 9 月 25 日，2024 百度云智大会在北京召开。

为帮助企业更快、更好、更省地使用大模型，百度智能云分别针对算力、模型、AI应用，全面升级百舸 AI 异构计算平台 4.0、千帆大模型平台 3.0 两大 AI 基础设施，并升级代码助手、智能客服、数字人三大 AI 原生应用产品。

百度集团执行副总裁、百度智能云事业群总裁沈抖表示，大模型以及配套的算力管理平台、模型和应用开发平台，正在迅速成为新一基础设施。

“2024 年大模型的产业落地正在加速，目前在千帆大模型平台上，文心大模型日均调用量超过 7 亿次，累计帮助用户精调了 3 万个大模型，开发出 70 多万个企业级应用。过去一年，文心旗舰大模型降价幅度超过 90%，主力模型全面免费，最大限度降低了企业创新试错的成本。 ”沈抖说。

百度集团执行副总裁、百度智能云事业群总裁沈抖

升级百舸 4.0

模型训练有效时长达 99.5%

可高效管理十万卡集群

大算力是大模型落地的基础条件。为满足企业落地大模型从集群创建、开发实验，到模型训练、推理的全旅程算力需求，应对超大规模GPU集群高成本、难运营两大挑战，百度智能云升级发布百舸 AI 异构计算平台 4.0，面向万卡、十万卡集群全面升级算力管理能力。

首先，在集群创建阶段，企业通常需要进行大量复杂、琐碎的算力配置和调试工作。百舸 4.0 置了主流的大模型训练工具，能够实现工具层面的秒级部署，并将万卡集群运行准备时间从几周缩减至 1 小时，极大地提升部署效率，缩短业务上线周期。

百度百舸AI异构计算平台4.0

在开发实验阶段，企业需要针对业务目标对不同架构、参数的模型进行多次测试，进而制定最佳模型训练策略，保障后续训练的性能和效果。百舸4.0全新升级的可观测大盘，能够对多芯适配、集群效能、任务自动容错等方面进行全方位监测，提供直观决策依据，帮助用户更好地把控整体项目。

在模型训练阶段，稳定和高效是衡量GPU集群水平的“金指标”、“硬通货”。

在稳定性方面，一张 GPU 出现故障就会导致集群整体停摆，大量时间、成本浪费在故障恢复和数据回滚上。百舸 4.0 能够自动筛查集群状态，并基于对GPU故障的精准预测，及时转移工作负载，降低故障发生频次。此外，百舸独有的故障秒级感知定位、Flash Checkpoint 模型任务状态回滚等技术，能够大幅减少集群故障处置时间，实现接近无损的集群容错。

目前，百舸在万卡集群上实现了有效训练时长占比 99.5% 以上，业界领先，极大地节约了客户算力与时间成本。此外，百舸4.0通过在集群设计、任务调度、并行策略、显存优化等一系列创新，大幅提升了集群的模型训练效率，整体性能相比业界平均水平提升高达 30%。

在模型推理环节，百舸则通过架构分离、KV Cache、负载分配等一系列加速方法，实现了模型推理的降本提效，尤其在长文本推理方面，推理效率提升超过1倍。

面向未来，沈抖认为，大模型的 Scaling Law 将在一段时间内持续有效，很快就会有更多的十万卡集群出现，但是管理十万卡的难度与管理万卡有着天壤之别。

首先，在物理空间方面，十万卡集群需要占据大概 10 万平方米空间，相当于14个标准足球场的面积；在能耗方面，每天则要消耗大约 300 万千瓦时的电力，相当于北京市东城区一天的居民用电量。这种对于空间和能源的巨大需求，远远超过了传统机房部署方式的承载能力，跨地域机房部署又会给网络通信带来巨大挑战。此外，十万卡集群中的 GPU 故障将会非常频繁，有效训练时长占也将迎来新的挑战。

针对这些难题，百舸 4.0 已经构建了十万卡级别的超大规模无拥塞 HPN 高性能网络、10ms 级别超高精度网络监控，以及面向十万卡集群的分钟级故障恢复能力。

“百舸 4.0 正是为部署十万卡大规模集群而设计的。今天的百舸 4.0，已经具备了成熟的十万卡集群部署和管理能力，就是要突破这些新挑战，为整个产业提供持续领先的算力平台。”沈抖说。

生数科技作为国内领先的多模态大模型厂商，基于百舸平台开发出国内首款全面对标 OpenAI Sora 的视频大模型“Vidu”。会上，生数科技联合创始人兼 CEO 唐家渝宣布，即日起 Vidu 将通过百度智能云千帆大模型平台面向开发者、企业用户开放 API 服务。

生数科技联合创始人兼CEO唐家渝

对于自建智算中心的客户，百舸 4.0 此番还对“一云多芯”能力进行了升级。在万卡规模集群上，多芯混合训练效能高达 95%，保持业界领先。“要建设更大的集群，同时确保供应链的安全和弹性，势必会存在不同芯片混合使用的情况，也就是说，对于自建智算中心的客户来说，一云多芯是必然选择。”沈抖说。

以中国邮政储蓄银行为例，2023 年，为加速大模型应用落地，邮储银行新增大量来自不同厂商的GPU资源，基于大模型为18个核心业务系统、30多家分行的金融业务提供AI赋能。在百舸的支持下，邮储银行顺利完成了不同型号GPU资源的部署、上线；同时，也实现了GPU、CPU算力的规划重组，有力保障了300多个大小模型、6000多次训练任务。模型迭代时间也从过去的一个半月大幅缩短至半天，并实现了更好的模型效果。

长安汽车执行副总裁张晓宇表示，基于百舸平台，百度智能云与长安汽车合作探索开发了整套自动驾驶模型训练的最佳实践方案，实现了GPU资源的精细化管理与调度。双方紧密配合，在数据加载、计算效率、通信方式等维度进行联合优化，使得算力总体平均使用率提升到90%以上，综合资源利用率提升了50%。

长安汽车执行副总裁张晓宇

发布千帆 3.0

三大服务全面升级

一句话即可生成企业级应用

为了满足企业客户对模型调用、模型开发、应用开发的需求，百度智能云发布千帆大模型平台3.0。

在模型调用方面，升级后的千帆平台，不但可以调用包括文心系列大模型在内的近百个国内外大模型，还支持调用语音、视觉等各种传统的小模型。在扩大模型种类的同时，百度智能云持续降低模型调用成本。过去一年，文心旗舰大模型降价幅度超过90%、主力模型全面免费，最大限度降低企业创新试错的成本。

文心大模型家族全景图

在模型开发方面，对于需要定制、微调专属模型的客户，千帆3.0不仅提供了最完善的大模型工具链，还支持CV、NLP、语音等传统模型的开发，并实现数据、模型、算力等资源的统一纳管和调度，为企业提供一站式的大、小模型开发服务。

千帆平台大模型工具链

模型投入使用后，千帆平台还支持企业将应用中产生的数据，经过采样评估、人工标注、对齐或微调等方式反馈给模型，形成数据飞轮，持续优化模型效果，放大模型在特定场景下的优势。

在应用开发方面，针对企业落地大模型的高频应用场景，千帆3.0从检索效果、检索性能、存储扩展、调配灵活性四方面对企业级检索增强生成（RAG）进行了全面升级；针对企业级Agent的开发，千帆3.0增加了业务自主编排、人工编排、知识注入、记忆能力以及百度搜索等80多个官方组件支持。

此外，本次大会还发布了智能化低代码应用开发平台“AI速搭”，通过自然语言对话就能进行企业级应用开发，一句话就可以完成应用创建。

沈抖在大会现场还演示了如何通过对话，在AI速搭平台上开发一个资产管理应用。只需一句话描述对目标系统的需求，包含资产信息、资产入库、资产领用、资产维修、资产报废等功能模块，大模型就可以清晰地理解需求并生成应用。过去，这样一个应用即使用低代码方式开发也需要几天的时间，现在只需几分钟就能完成。

工具平台的不断完善，也促进了过去一年大模型产业落地的爆发式增长。目前，在千帆平台上，文心大模型日均调用量超过7亿次，千帆平台累计帮助用户精调了3万个大模型，开发出70多万个企业级应用。

三星电子大中华区总裁崔胜植表示，2024年初，三星在全球市场推出Galaxy AI，并与百度智能云达成战略合作，基于千帆平台、百度识图为中国用户带来国际领先的Galaxy AI本地化功能，包括即圈即搜、笔记助手、转录助手、聊天助手、浏览助手等移动 AI 体验。

三星电子大中华区总裁崔胜植

在招聘领域，猎聘基于千帆平台，通过调用文心大模型，结合自身丰富的行业know-how，能够对企业岗位需求和求职者简历内容进行语义理解分析，并实现智能化的简历筛选功能，人岗匹配准确率相比业界平均水平的70%高出15个百分点，高达85%，并提升招聘效率50%以上。

在教育领域，考试宝作为一款职业教育在线学习App，过去主要依赖人工为会员提供试题解析服务，速度慢、成本高，有些试题甚者需要等待一天以上才能得到解析结果。如今，通过提示词工程和调用文心大模型，考试宝实现了试题的智能化解析，只需上传试题就能秒级得到解析结果，单条试题解析成本也从过去的1.5元降到3厘，降幅高达98%，用户付费意愿也增长了一倍以上。

文心大模型：日均调用量超 7 亿次，旗舰模型一年降价超 90%

正文

请到「今天看啥」查看全文