作者：金磊 梦晨
来源：量子位 | 公众号 QbitAI
现在不论是大模型本身，亦或是AI应用的更新速度简直令人直呼跟不上——
Sora、Suno、Udio、Luma……重磅应用一个接一个问世。
也正如来自 InfoQ 的调查数据显示的那般，虽然 AIGC 目前还处于起步阶段，但市场规模已初具雏形：
预计到 2030 年将达 4500 亿人民币。AIGC 应用正呈现多点开花之势，逐步从通用场景向行业纵深渗透。
行业整体迅速发展固然是好事，但具体到每个的应用或者大模型的落地来说，面临的竞争也越发激烈了。
例如前不久各个大模型厂商之间展开的非常激烈的“价格战”，主打一个比谁更便宜，甚至直接把大模型价格推向“厘时代”。
加上最近 OpenAI 的“断供”事件，更是让国内厂商们在打出“轻松搬家”计划的同时，再加码 Tokens 送送送的力度。
究其原因，也是与当下应用为王，尤其是以尽量低的成本把业务快速落地的这一大趋势紧密相关。
那么问题来了，大模型玩家们何以在又快又好又省之间做到平衡？
这就回到了那个避不开，同时又是成本里占绝对大头的因素——算力。
现在提及大模型的训练和推理，很多人的第一反应或许就是想到了 GPU。
诚然 GPU 在高性能上占据着一定的优势，但它所存在“硬伤”也是比较明显，那便是供应不足、价格昂贵。
国产大模型第一梯队玩家百度智能云千帆大模型平台，就给出了自己的一个更具“效价比”的解法：
除了少数大客户对大型模型追求卓越的性能表现外，大多数企业和机构在采用大型模型时，需要全面评估其使用效果、性能表现以及成本效益，也就是所谓的”性价比”。
具体到算力的部署上，
百度智能云 AI 与大模型平台总经理忻舟认为：
跑 AI 这件事，其实早期一直是 CPU 在发挥作用；GPU 的火爆也是近几年的事情。
很多场景之下，GPU 虽然有高密度的计算能力，但实测表明，现在的高端 CPU 同样也可以完全胜任。
而且整个 AI 业务流中不止是有大模型需要做计算，同样涉及前期的数据清洗等环节，这些环节中 CPU 起到了非常重要的作用。
一言蔽之，在大模型时代，CPU 甚至比以往更加重要了，而且是能让大模型和应用做到“快好省”落地的关键因素之一。
国内 AIGC 应用爆发，这其中，百度智能云千帆大模型平台功不可没。
作为企业使用大模型的”一站式”服务平台，千帆大模型平台自去年3月发布以来已有超 12 万客户使用，累计调优模型2万个，孵化应用 4.2 万个。
这些应用覆盖教育、金融、办公、医疗等众多场景，为行业数字化转型提供了有力支撑。
在教育领域，千帆大模型平台赋能了试题生成、在线批改、题目解析等应用，大大提升了教学和备考效率。
例如用户可以提供参考材料，设定题型和难度，平台就能自动生成高质量的试题。而交互式的题目解析，则可以针对每位学生的薄弱环节，提供个性化的学习指导。
在办公场景，千帆大模型平台与业内头部企业合作，共同打造了智能写作助手等创新应用，能够根据用户输入的关键词，快速生成招聘文案、营销方案、数据报告等专业文档。
还可以专注于各类写作场景，可以智能生成论文大纲、项目汇报、品牌宣传稿等，大大提升了行政和营销人员的工作效率。
医疗健康是千帆大模型平台的另一大应用赛道。基于医疗知识库训练的模型，可以自动生成体检报告解读，用通俗易懂的语言向用户解释各项指标，并给出个性化的健康指导。
这让普通大众也能更好地了解自己的身体状况，实现”健康自主管理”。
可以看到，千帆大模型平台在多个领域实现了 AI 模型的”最后一公里”落地。
答案是：让 CPU 成为客户的选择之一，让“效价比”的红利普惠千行百业。
目前，行业还存在大量离线的 LLM 应用需求，如生成文章总结、摘要、数据分析等，与在线场景相比，离线场景通常会利用平台的闲时算力资源，对于推理的时延要求不高，而对于推理的成本较为敏感，因此用户更加倾向采用低成本、易获得的CPU来进行推理。
百度智能云等云平台中部署着大量基于 CPU 的云服务器，释放这些 CPU
的 AI 算力潜力将有助于提升资源利用率，满足用户快速部署 LLM 模型的需求。
至于效果，以 Llama-2-7B 为例，在第四代英特尔® 至强® 可扩展处理器上输出 Token 吞吐可达 100 TPS 以上，相比第三代提升了60%。
Llama-2-7b 模型输出 Token 吞吐
在低延迟的场景，同等并发下，第四代至强® 可扩展处理器的首 Token 时延比第三代至强® 可降低 50% 以上。
在将处理器升级为第五代至强® 可扩展处理器之后，较上代的吞吐可
提升 45% 左右，首 Token 时延下降 50% 左右。
Llama-2-7b 模型首 Token 时延
针对 30 B 以下规模的 LLM 模型，皆可采用英特尔® 至强® 可扩展处理器来获得良好性能体验。
不仅如此，利用充足的 CPU 资源，降低对于 AI 加速卡的需求，
从而降低 LLM 推理服务的总体拥有成本 (TCO)，特别是在离线的 LLM 推理场景中表现出色。
而且在千帆大模型平台上，可不止是有自家的ERNIE，还有很多主流的大模型都集成于此。
这也在一定程度上从侧面印证了第五代英特尔® 至强® 可扩展处理器在性能上的过关。
英特尔第五代至强，如何让性能和效率变得Pro Max？
百度智能云千帆大模型平台，不止需要大模型推理一种工作负载，它其实是一个覆盖大模型全生命周期的平台。
具体来说，千帆大模型平台提供数据标注，模型训练与评估，推理服务与应用集成的全面功能服务，以及快速应用编排与插件集成，助力大模型多场景落地应用。这样一来，比起专为大模型推理部署专用加速器，充分利用平台已广泛部署的CPU资源，就是更划算的选择了。
对于千帆大模型平台上存在的大量离线大模型应用需求来说，如生成文章总结、摘要、评估多个模型的效果等，这类需求对推理的时延要求其实不高，但内存容易成为瓶颈。
采用 CPU 来做，扩展内存更方便，还可以利用起平台闲时的算力资源，进一步提高资源利用率，起到降低总拥有成本的作用。
在这个大背景下，第五代英特尔® 至强® 可扩展处理器中的性能密集型通用计算应用负载（类似P Core性能核）的设计就尤为关键了。
与E Core（能效核）相比，P Core采用了追求性能最大化的设计，能承载非常重的负载，同时还兼顾了AI推理加速。
采用此设计的第五代至强® 可扩展处理器，在兼顾AI推理加速这一点上可不是说说而已，而是软硬件协同优化，各方面都考虑到位了。
硬件方面，英特尔® AMX（高级矩阵扩展）技术，正是为大模型推理重深度学习中大量的矩阵乘法运算专门优化的，可以理解成”CPU 里的 Tensor Core”。
有了英特尔® AMX，处理器每个时钟周期可完成高达 2048 个 INT 8 运算，比上一代 AVX512_VNNI 指令提升8倍之多。
更重要的是，英特尔® AMX 加速器是内置在 CPU 核心里的，让矩阵存储和运算更近，这一特性应用在大模型推理上，能够降低处理下一个 Token 的时延，让终端用户的体验更好。
△英特尔® AMX 可以更高效的实现 AI 加速
软件方面，百度智能云千帆大模型平台已经引入了针对英特尔® 至强® 可扩展平台深度优化的大模型推理软件解决方案xFasterTransformer (xFT)，并将其作为后端推理引擎。主要优化策略如下：
△英特尔® 至强® 可扩展处理器 LLM 推理软件解决方案
最后还要补充的一点是，要知道选择一种硬件平台，不止关乎于设备本身的采购价格，还会影响到后续的维护成本，甚至人才储备成本。
所以正如百度智能云所言，高性价比的算力基础设施，与先进的大模型算法和平台软件相辅相成，让上层的开发者们能够更加平滑地应用，构建他们的业务，才能最大化云计算平台的商业价值。
