专栏名称: 爱分析ifenxi
爱分析ifenxi是一家专注于创新领域的投研机构,以企业价值研究为内核,服务企业决策者和机构投资者。爱分析重点研究技术驱动型创新领域,包括新金融、企业服务及大消费等,并通过全网多个平台发布访谈和调研报告。
目录
相关文章推荐
新浪科技  ·  【#腾讯2024年全年营收超6600亿元## ... ·  14 小时前  
新浪科技  ·  【#黄仁勋称通用机器人时代已到来#】#英伟达 ... ·  22 小时前  
涵江时讯  ·  早安!涵江! ·  昨天  
51好读  ›  专栏  ›  爱分析ifenxi

DeepSeek在企业侧的落地:技术盘点与路径解析

爱分析ifenxi  · 公众号  ·  · 2025-03-05 18:00

正文




DeepSeek的崛起不仅是技术革新,更是 一场从“机器语言”到“人类语言”的范式革命,推动了AGI时代到来。各 个行业的应用场景不断拓展,为企业数字化发展带来了新机遇, 同时也面临诸多挑战。 不同企业在落 地部署过程中存在诸多 待解决的问题和实践难点。

本文将围绕与企业交流中所总结的部署落地路径,并给出相关建议,与大家分享解读以下 核心观点:

  • 推理模型元年,新模型、新技术依然可期

  • 推理模型使得大模型向决策场 景迈出重要一步

  • 企业为模型付费 意愿下降,公有云推理支出增加

分享嘉宾|张扬 爱分析联合创始人&首席分析师
内容已做精简,如需获取专家完整版视频实录和课件,请扫码领取。

01

推理模型元年,新模型、新技术依然可期
整体技术情况是企业进行推理模型落地部署和场景探索的基础。从技术本身而言,今年可被 视为推理模型元年,在模型和技术层面,存在许多新的迭代方向,技术路线也存在竞争。
模型方面,梳理从OpenAI o1 Preview版本发布到Grok 3发布的过程,其间不仅有OpenAI和DeepSeek ,还有千问、 Google的Gemini,以及智谱、讯飞、阶跃星辰、Kimi等。预计3月左右,Anthropic和OpenAI有可能发布GPT 5,不同厂商在推出不同模型。与去年下半年模型发布节奏相比,变化巨大。ChatGPT刚发布后,国内厂商基本每月迭代一个版本,2023年大部分厂商按月或按季度更新迭代大语言模型版本。2024年下半年,可能半年 都未必有新版本更新,更多更新转向多模态模型。进入2025年,由于DeepSeek开源模型发布,预计2月、3月乃至整个上半年,不同厂商都会发布推理模型,且版本迭代速度加快。Grok比DeepSeek晚发布约一个月,预计豆包、Anthropic等企业也会发布新模型。
从模型本身来看,去年下半年大语言模型的Scaling Law接近极限,但目前推理模 型的 Scal ing L aw 才刚刚起步,这也是版本迭代井喷的原因之一,预计2025年还会出现大量新的模型版本。此外,DeepSeek 公开了强化学习(RL)这一技术路线,但它并非唯一可行路线。 此前还有过程奖励、蒙树等不同技术路线,以及无需思维链的隐式推理技术路线等,这些技术路线仍在探索中,RL是首个跑通的,但不意味着只有它可行。
基于大量新推理模型和 新技术路线的探索,当考虑将其落地到企业进行部署时,鉴于模型版本不断迭代更新,建 议企业采取由浅入深、逐步推进的方式落地推理模型。以下列出四条由浅入 深的路径:
1. API接入 :这是最基础的方式,目前许多央企已在企业内部即时通讯(IM)中嵌入推理模 型,采用类似微信对DeepSeek进行灰度测试的模式。采用API接入,一是速度快,能迅速完成部署;二是可实现全员使用。相较于之前接入大厂API需高额付费,接入R1虽仍需 付费,但金额大幅降低,所以多数企业选择从API接入起步。
2. 本地化部署结合知识库RAG :这是上一波大语言模型落地较为通用的方式,目前仍广泛应用于企业内部,尤其在金融机构和央企中。不过,各企业部署的R1版本有所不同,少数采用6000亿参数版本,多数采用蒸馏后的千问32B版本。
3. 对知识库RAG中的提示词工程进行精细化处理 :部分企业会将基于思维链的提示词单独提取出来,做进一步精细 化处理。当前多数企业推进速度最快也就到这一步,也是较为理想的实施阶段。完成前三步后,一方面,全员参与使用有助于拓展新应用场景,企业在部署模型后,更关注投资回 报率(ROI)及能否开拓新场景,通过全员探索自下而上的方式较为有效;另一方面,继续深 入则不可避免涉 及监督微调(SFT)和模型蒸馏。由于推理模型不断涌现,难以保证三个月后R1模型不因自身迭代或新厂商模型的出现而被超越,这就可能需要重新进行SFT。
4. 数据相关问题 :在整个过程中,R1存在一个尚不明晰的问题,即60万思维链(COT)数据和20万通用 知识数据。企业在进行强化学习或蒸馏时,这60万COT数据的获取存在较大疑问。目前,一些新开源版本约有11万COT数据开源,未来几个月Grok 3是否会开源COT数据尚不确定 。数据开源与模型版本持续迭代同样重要,若这些数据开源,企业进行蒸馏和SFT时将更为顺畅。
综合考量各方面因素,建议现阶段企业主要尝试前三个要点,对于绝大部 分企业而言,开展第四步进行监督微调 (SFT)以及自行进行模型蒸馏,尚未达到理想的时间窗口期。不过,少部分已进行语言模型(LM)预训练的企业提出,能否基于自身已完成预训练的版本,开展类似R1的强化学习过程,以期将原本懂企业知识的预训练模型,转变为既懂企业知识、推理能力又强的企业专属推理模型。从R1的学术论文来看,该路线比SFT更为复杂。 不建议企 业采用 此路线。 核心原因在于,在R1论文中做过类似测试。 测试中,R1一方面基于千问版本进行R1 Zero强化学习,另一方面直接基于R1进行蒸馏。从最终推理效果,尤其是关键的通用问题回答推理效果来看,R1 Zero得分为55分 ,R1蒸馏后的得分为62分 ,蒸馏效果优于R1 Zero强化学习效果。对于32B版本或参数不到千亿的版本,蒸馏效果强于强化学习。此外,蒸馏属于SFT范畴,而强化学习所需算力更多,耗费时间更长。所以,无论是从成本、时间还是效果角度分析,蒸馏的性价比更高。这是目前不建 议企业复制R1强化学习过程的关键所在。这属于第五条路径,目前来看,该路径还没有特别有效的调整或优化方式。
基于上述两点, 建议企业现阶段更多选择采用API接入或知识库检索增强生成方式 ,这与上一版大语言模型落地思路一致,是从推理模型落地路径角度给出的具体建议和实施方式,同时还包含一些推荐配置。大部分企业,尤其是春节后复工的企业,在部署32B模型时,通常使用两张A100显卡;部署70B的Llama版本模型,大概需要四张A100显卡。若部署迁移模型,使用A100显卡的话,至少需要两台8卡机器才能运行,所需预算较高。






请到「今天看啥」查看全文