专栏名称: 爱分析ifenxi

爱分析ifenxi是一家专注于创新领域的投研机构，以企业价值研究为内核，服务企业决策者和机构投资者。爱分析重点研究技术驱动型创新领域，包括新金融、企业服务及大消费等，并通过全网多个平台发布访谈和调研报告。

DeepSeek在企业侧的落地：技术盘点与路径解析

爱分析ifenxi · 公众号 · · 2025-03-05 18:00

正文

DeepSeek的崛起不仅是技术革新，更是一场从“机器语言”到“人类语言”的范式革命，推动了AGI时代到来。各个行业的应用场景不断拓展，为企业数字化发展带来了新机遇，同时也面临诸多挑战。不同企业在落地部署过程中存在诸多待解决的问题和实践难点。

本文将围绕与企业交流中所总结的部署落地路径，并给出相关建议，与大家分享解读以下核心观点：

推理模型元年，新模型、新技术依然可期
推理模型使得大模型向决策场景迈出重要一步
企业为模型付费意愿下降,公有云推理支出增加

分享嘉宾｜张扬爱分析联合创始人&首席分析师

内容已做精简，如需获取专家完整版视频实录和课件，请扫码领取。

推理模型元年，新模型、新技术依然可期

整体技术情况是企业进行推理模型落地部署和场景探索的基础。从技术本身而言，今年可被视为推理模型元年，在模型和技术层面，存在许多新的迭代方向，技术路线也存在竞争。

模型方面，梳理从OpenAI o1 Preview版本发布到Grok 3发布的过程，其间不仅有OpenAI和DeepSeek ，还有千问、 Google的Gemini，以及智谱、讯飞、阶跃星辰、Kimi等。预计3月左右，Anthropic和OpenAI有可能发布GPT 5，不同厂商在推出不同模型。与去年下半年模型发布节奏相比，变化巨大。ChatGPT刚发布后，国内厂商基本每月迭代一个版本，2023年大部分厂商按月或按季度更新迭代大语言模型版本。2024年下半年，可能半年都未必有新版本更新，更多更新转向多模态模型。进入2025年，由于DeepSeek开源模型发布，预计2月、3月乃至整个上半年，不同厂商都会发布推理模型，且版本迭代速度加快。Grok比DeepSeek晚发布约一个月，预计豆包、Anthropic等企业也会发布新模型。

从模型本身来看，去年下半年大语言模型的Scaling Law接近极限，但目前推理模型的 Scal ing L aw 才刚刚起步，这也是版本迭代井喷的原因之一，预计2025年还会出现大量新的模型版本。此外，DeepSeek 公开了强化学习（RL）这一技术路线，但它并非唯一可行路线。此前还有过程奖励、蒙树等不同技术路线，以及无需思维链的隐式推理技术路线等，这些技术路线仍在探索中，RL是首个跑通的，但不意味着只有它可行。

基于大量新推理模型和新技术路线的探索，当考虑将其落地到企业进行部署时，鉴于模型版本不断迭代更新，建议企业采取由浅入深、逐步推进的方式落地推理模型。以下列出四条由浅入深的路径：

1. API接入 ：这是最基础的方式，目前许多央企已在企业内部即时通讯（IM）中嵌入推理模型，采用类似微信对DeepSeek进行灰度测试的模式。采用API接入，一是速度快，能迅速完成部署；二是可实现全员使用。相较于之前接入大厂API需高额付费，接入R1虽仍需付费，但金额大幅降低，所以多数企业选择从API接入起步。

2. 本地化部署结合知识库RAG ：这是上一波大语言模型落地较为通用的方式，目前仍广泛应用于企业内部，尤其在金融机构和央企中。不过，各企业部署的R1版本有所不同，少数采用6000亿参数版本，多数采用蒸馏后的千问32B版本。

3. 对知识库RAG中的提示词工程进行精细化处理 ：部分企业会将基于思维链的提示词单独提取出来，做进一步精细化处理。当前多数企业推进速度最快也就到这一步，也是较为理想的实施阶段。完成前三步后，一方面，全员参与使用有助于拓展新应用场景，企业在部署模型后，更关注投资回报率（ROI）及能否开拓新场景，通过全员探索自下而上的方式较为有效；另一方面，继续深入则不可避免涉及监督微调（SFT）和模型蒸馏。由于推理模型不断涌现，难以保证三个月后R1模型不因自身迭代或新厂商模型的出现而被超越，这就可能需要重新进行SFT。

4. 数据相关问题 ：在整个过程中,R1存在一个尚不明晰的问题，即60万思维链（COT）数据和20万通用知识数据。企业在进行强化学习或蒸馏时，这60万COT数据的获取存在较大疑问。目前，一些新开源版本约有11万COT数据开源，未来几个月Grok 3是否会开源COT数据尚不确定。数据开源与模型版本持续迭代同样重要，若这些数据开源，企业进行蒸馏和SFT时将更为顺畅。

综合考量各方面因素，建议现阶段企业主要尝试前三个要点，对于绝大部分企业而言，开展第四步进行监督微调（SFT）以及自行进行模型蒸馏，尚未达到理想的时间窗口期。不过，少部分已进行语言模型（LM）预训练的企业提出，能否基于自身已完成预训练的版本，开展类似R1的强化学习过程，以期将原本懂企业知识的预训练模型，转变为既懂企业知识、推理能力又强的企业专属推理模型。从R1的学术论文来看，该路线比SFT更为复杂。不建议企业采用此路线。核心原因在于，在R1论文中做过类似测试。测试中，R1一方面基于千问版本进行R1 Zero强化学习，另一方面直接基于R1进行蒸馏。从最终推理效果，尤其是关键的通用问题回答推理效果来看，R1 Zero得分为55分，R1蒸馏后的得分为62分，蒸馏效果优于R1 Zero强化学习效果。对于32B版本或参数不到千亿的版本，蒸馏效果强于强化学习。此外，蒸馏属于SFT范畴，而强化学习所需算力更多，耗费时间更长。所以，无论是从成本、时间还是效果角度分析，蒸馏的性价比更高。这是目前不建议企业复制R1强化学习过程的关键所在。这属于第五条路径，目前来看，该路径还没有特别有效的调整或优化方式。

基于上述两点， 建议企业现阶段更多选择采用API接入或知识库检索增强生成方式 ，这与上一版大语言模型落地思路一致，是从推理模型落地路径角度给出的具体建议和实施方式，同时还包含一些推荐配置。大部分企业，尤其是春节后复工的企业，在部署32B模型时，通常使用两张A100显卡；部署70B的Llama版本模型，大概需要四张A100显卡。若部署迁移模型，使用A100显卡的话，至少需要两台8卡机器才能运行，所需预算较高。

DeepSeek在企业侧的落地：技术盘点与路径解析

正文

请到「今天看啥」查看全文