大模型ToB落地解法（二）：多“专家”连横模式典型案例与启示

随着大模型技术的持续优化和升级，产业应用逐渐走深向实，呈现欣欣向荣的发展态势。但同时不同行业、不同产业环节的分化趋势也日益加剧，不平衡发展的根源是大模型在需求适配、垂直专业性、使用成本等方面还存在诸多短板和卡点，这些问题之间又相互制约，并非仅靠一家厂商或者一个大型参数模型就能全面解决。这种背景下，多模型择优选取、多“专家”分工协作的连横模式或可成为一种有效的解题思路。

现阶段大模型商业化的两个主要挑战

1. 行业企业尚未“真正”入局。

很多企业已经意识到大模型对其降本提效、重塑竞争力的潜力，但并不清楚这种能力如何与自身业务和运营结合，易观的一份调研显示，46%的企业尚未找到合适的流程和场景部署大模型（2024.6）。同时，大部分企业尚未从全局视角做好采用大模型的准备，根据埃森哲对中国450家企业的调研，85%的企业尚未建立专门团队制定相关战略规划和预算，77%的企业还未开始梳理内部数据（2024.3）。需求适配不足、缺乏全局规划，会限制大模型能力和价值发挥，增加安全合规风险，进而影响AI应用的持续推进。

2. “不可能三角”问题阻碍行业全面深入应用。

对B端而言，事实验证是关键挑战，如果大模型的“靠谱程度”不提升，就难以解决关键场景问题，这是目前大部分行业企业仍在小范围测试而尚未将大模型全面应用于正式生产的主要原因，也是大模型在生产、控制等核心环节进展缓慢的关键阻碍。根据麦肯锡的调研数据，25%的企业因生成式AI的不准确性而遭受了负面影响，幻觉问题已成为企业最高优先级难题（2024.5,n=1052）。当前技术条件下，要提高大模型处理特定任务的性能和准确性，意味着厂商需要大量相关专业知识和数据进行模型训练，这将导致成本大幅增长，而且如果训练数据集规模和类型不足还可能降低模型的泛化能力，大模型落地在专业性、经济性和泛化性三方面难以取得平衡。

连横模式思路及典型案例

“多专家”连横模式强调多模型的聚合、择优与协同思维，通过让不同专家模型做各自最擅长的事，来提高模型的适配性、准确性和使用效率，进而平衡成本。聚焦模型协同性与效果可比性两个关键要素，已初步形成三种应用思路，一是针对目标任务每个模型各自给出答案，交叉验证选择最优解；二是评估选出最合适的模型，由其独立完成任务；三是多个模型按专业优势分工，协同完成任务，背后逻辑是化繁为简，以小博大，模型之间不存在绑定关系，但也并非完全独立，不同技术架构下模型之间协作的深浅度不同。具体案例如：

1. 亚马逊：基于云托管服务构建AI模型中心，提供模型评估、智能分流等能力降低企业使用门槛。

Amazon Bedrock云托管服务汇聚了大部分业界领先的开源、闭源模型以及亚马逊自有的Titan模型，支持企业基于私有数据定制或者导入专有模型。Bedrock提供两种模型使用方式：一是按需选择。提供自动、人工、专业团队协助三种模型评估服务，几小时内即可帮助企业选出与其自身业务场景和数据相结合的最优模型，并可通过API调用模型。二是多模型联合分工。将目标任务分解，根据场景和功能要求自动适配模型，通过构建多个Agent角色实现多模型协同完成任务。例如，亚马逊与中集集团基于联合实验室机制，共同打造企业级生成式AI底座，通过集成中集专业数据库，利用Bedrock的智能分流能力选择合适模型，实现财司助手应用的答案采纳率达到99.6%。

图1 Amazon Bedrock多模型联合分工示例

2. Palantir：采用K-LLMs架构构建AI平台，与原有产品集成并辅以训练营模式加速技术落地。

作为一家专注于数据分析的软件公司，Palantir更注重如何借助生成式AI提高自有产品的智能化比例，降低用户使用门槛，其AI平台封装了四款领先的大模型产品，并支持私有化部署。K-LLMs内核采取择优原理，即先将用户输入的Prompt分发到每个大模型中，由一个名为Synthesizer的组件对模型回答结果进行理解和比较，产生最可能正确的答案返回给用户。在逐渐识别出这些LLM各自擅长的领域（在哪些领域给出正确答案的几率更高）后，用户可以出于成本、使用效率等考量对模型进行调整，将Prompt仅发给最专业的LLM。Palantir通过为期1-5天的AI训练营完成对客户的培育和销售，提供真实用例和数据展示平台功能，将大模型应用验证从几个月缩短至几天，很多客户在训练营结束后即签订了大额合同。

图2 Palantir AI平台K-LLMs内核原理

3. 360：提出CoE专家协同模型架构，从支持产品自研外延至联合多厂商共同开展模式验证。

CoE（Collaboration of Experts）基于类脑分区协同原理，将大模型分解为多个专家模型，按需动态组合，协同提高预测性能，模型之间可能在训练过程中就相互协作，共享信息或参数，共同学习数据特征。这种思路意味着每个模型都可以更小,由此知识、成本等问题就能得到解决。360基于CoE架构和自创方法论自研安全大模型，聚焦6个场景打造6个专家大模型，协同解决高难度安全问题，此后又联合15家大模型厂商构建CoE专家模型网络，打造AI助手。AI助手已内置于360安全卫士、安全浏览器等产品中，具有意图识别和对各家大模型及第三方工具的自动调度能力，同时也支持用户自选模型、对比效果选最优解、训练专用Agent等，据称其性能测试总分超过GPT-4o。

图3 360 CoE架构及专业化大模型方法论思路

4. 阿里：打造开源模型社区，借助Agent开发工具推进大小模型协同解决多场景复杂业务问题。

启示与建议

1. 要构建一个覆盖业界领先、规格和功能齐全的AI模型库。

2. 要提炼一套能协助B端客户落地大模型能力的方法论框架。

一是协助客户做好现状诊断与评估，梳理人财物要素就绪情况，明确客户是否具备足够的数字化基础和IT能力来部署和运维大模型。二是协助客户找到大模型能发挥效益的场景，统筹规划发展目标，要综合考虑技术可达性、经济实用性和应用边界性等关键因素。三是协助客户做好技术选型，结合场景和目标，明确是“单体”还是“混合”模型架构，帮助企业平衡成本、效果和性能，实现真正意义上的定制化技术匹配。

3. 要建立一套高效的客户培训和持续反馈机制。

一是做好大模型应用前培训，邀请标杆企业讲解真实案例，让客户更好地理解将平台引入组织的方式和原因，优先聚焦需求潜力大的存量政企客户以及与大模型能力高度匹配的行业客户，开展一对一辅导和应用验证。二是大模型应用后要开展场景适用性、技术性能、功能价值、安全风险等方面的评估。高度重视客户反馈，通过建立对接渠道、主动收集等方式积极跟进模型使用效果，利用反馈反哺大模型迭代和服务升级，不断优化生成内容质量。