在 AI 迅速发展的今天，企业如何将 AI 技术落地应用，推动业务创新，成为了摆在许多从业者面前的难题。
Anthropic 在“AI Engineer Summit 2025”分享了他们在与众多客户合作的过程中，总结出来的一套行之有效的企业落地 AI 的最佳实践，并识别出了一些常见的错误。我在这里把视频上一些有价值的实践经验和教训整理出来了，希望能帮助你在 AI 应用的道路上少走弯路。
常见场景与挑战：你是否也有这些困惑？
Anthropic 通过和企业客户的协作过程中，发现主要的问题集中在这几个方面：
• 问题一：从何入手？ 你知道 AI 很强大，但具体到你的业务场景，应该从哪里开始？是做一个聊天机器人，还是做数据分析工具？抑或是更高级的 AI Agent？
• 问题二：如何评估效果？ 你花了大量时间和资源搭建了一个 AI 系统，但如何判断它是否真的有效？是看用户反馈，还是看技术指标？评估的标准是什么？
• 问题三：技术选择困惑。 你听说过微调（fine-tuning），觉得这听起来很高大上，是不是应该一上来就用微调来提升模型性能？
这些问题，你是否也曾遇到过？别担心，你并不孤单。许多企业在落地 AI 时都会面临类似的困惑。那么 Anthropic 是如何应对这些挑战的呢？
最佳实践一：评估先行，切勿本末倒置
在 AI 应用中，最常见的错误之一就是“先构建复杂流程，最后才想到做评估”。很多企业热情高涨，一上来就投入大量资源搭建复杂的 AI 系统，却忽略了评估的重要性。结果往往是，系统上线后才发现效果不尽如人意，浪费了大量时间和精力。
视频中不止一次强调，评估是指引你走向理想结果的工具。在 AI 应用中，评估不仅仅是事后的检验，更是整个开发过程中的“北极星”。为什么这么说呢？
• 评估帮助你明确目标。 在开始任何 AI 项目之前，你需要清楚地知道什么是成功。评估标准能够帮助你设定明确的目标，比如准确率、响应时间、用户满意度等。
• 评估指导优化方向。 通过定期评估，你可以及时发现系统的问题，调整优化策略，避免在错误的道路上越走越远。
• 评估是你的“知识产权”。 一位专家曾说：“评估就是你们的‘知识产权’。”在 AI 应用的潜在空间中，谁能更快地通过评估找到最优解，谁就能在竞争中脱颖而出。
案例分享：Intercom 的 AI Agent Fin
Intercom 是一家 AI 客服平台，他们的 AI Agent Fin 在业内颇有名气。然而，即使是这样的领先企业，在优化 AI 性能时也曾面临挑战。他们采取了评估先行的策略。
在合作初期，Intercom 与 Anthropic 的技术团队合作，将 Fin 的提示词（prompt）迁移到新模型上，并进行了为期两周的评估测试。结果显示，新模型在多个关键指标上优于 Intercom 当时使用的大语言模型。
随后，双方进行了为期两个月的冲刺，优化了所有与 Fin 相关的提示，确保在新模型上获得最佳性能。最终，Fin 2.0 版本上线后，数据显示，Fin 能够处理高达 86% 的客服需求，其中 51% 无需人工介入。这一成果的取得，离不开前期充分的评估和优化。
这个案例告诉我们，评估不仅是检验成果的手段，更是指导整个开发过程的关键环节。
最佳实践二：权衡“智能度、成本、延迟”，找到最优平衡
在 AI 应用中，企业往往需要在“智能度、成本、延迟”这三个维度之间进行权衡。而 Anthropic 的建议是：很少有企业能够同时在这三个方面都做到极致，因此，明确你的核心需求，找到最适合的平衡点至关重要。
• 智能度： AI 模型的准确性和智能水平。
• 成本： 开发和运维 AI 系统的经济成本。
• 延迟： AI 系统响应的速度。
不同的应用场景对这三个维度的要求不同。例如：
• 客服场景： 延迟是关键指标。用户希望在 10 秒内得到回复，否则可能会流失。因此，在客服应用中，快速响应比极高的智能度更重要。
• 金融研究员助手： 智能度是核心。金融决策需要高度准确的信息，响应时间可以适当放宽。
如何找到平衡？
1. 明确核心指标。 根据业务需求，确定哪个维度是最关键的。
2. 设计评估标准。 针对核心指标，设定明确的评估标准。
3. 灵活调整。 在开发过程中，根据评估结果，灵活调整技术方案，找到最优平衡。
例如，在客服场景中，你可以通过设计“思考中”的动画或引导用户阅读其他内容来缓解延迟问题，同时优化模型以提高响应速度。
常见错误：过早考虑微调，忽视基础优化
在 AI 应用中，微调（fine-tuning）是一个常被提及的技术。许多企业一听到微调，就觉得这是提升模型性能的“灵丹妙药”，急于尝试。然而，Anthropic 警告，微调并不是万能的，而且往往不是最佳选择。
微调的误区
1. 微调不是“银弹”。 微调相当于对模型进行“脑外科手术”，会影响模型在其他领域的推理能力。盲目微调可能导致模型在某些任务上表现更好，但在其他任务上表现下降。
2. 微调成本高昂。 微调需要大量的数据和计算资源，而且成功率参差不齐。很多时候，企业投入了大量资源，却未能获得预期的效果。
3. 忽视基础优化。 在没有充分评估和优化基础模型的情况下，过早考虑微调，往往是本末倒置。
何时考虑微调？
建议，只有在基础优化无法满足需求时，才考虑微调。具体来说：
• 先尝试提示工程（prompt engineering）。 通过优化提示词，提升模型在特定任务上的表现。
Anthropic 在“AI Engineer Summit 2025”分享了他们在与众多客户合作的过程中，总结出来的一套行之有效的企业落地 AI 的最佳实践，并识别出了一些常见的错误。我在这里把视频上一些有价值的实践经验和教训整理出来了，希望能帮助你在 AI 应用的道路上少走弯路。
常见场景与挑战：你是否也有这些困惑？
Anthropic 通过和企业客户的协作过程中，发现主要的问题集中在这几个方面：
• 问题一：从何入手？ 你知道 AI 很强大，但具体到你的业务场景，应该从哪里开始？是做一个聊天机器人，还是做数据分析工具？抑或是更高级的 AI Agent？
• 问题二：如何评估效果？ 你花了大量时间和资源搭建了一个 AI 系统，但如何判断它是否真的有效？是看用户反馈，还是看技术指标？评估的标准是什么？
• 问题三：技术选择困惑。 你听说过微调（fine-tuning），觉得这听起来很高大上，是不是应该一上来就用微调来提升模型性能？
这些问题，你是否也曾遇到过？别担心，你并不孤单。许多企业在落地 AI 时都会面临类似的困惑。那么 Anthropic 是如何应对这些挑战的呢？
最佳实践一：评估先行，切勿本末倒置
在 AI 应用中，最常见的错误之一就是“先构建复杂流程，最后才想到做评估”。很多企业热情高涨，一上来就投入大量资源搭建复杂的 AI 系统，却忽略了评估的重要性。结果往往是，系统上线后才发现效果不尽如人意，浪费了大量时间和精力。
视频中不止一次强调，评估是指引你走向理想结果的工具。在 AI 应用中，评估不仅仅是事后的检验，更是整个开发过程中的“北极星”。为什么这么说呢？
• 评估帮助你明确目标。 在开始任何 AI 项目之前，你需要清楚地知道什么是成功。评估标准能够帮助你设定明确的目标，比如准确率、响应时间、用户满意度等。
• 评估指导优化方向。 通过定期评估，你可以及时发现系统的问题，调整优化策略，避免在错误的道路上越走越远。
• 评估是你的“知识产权”。 一位专家曾说：“评估就是你们的‘知识产权’。”在 AI 应用的潜在空间中，谁能更快地通过评估找到最优解，谁就能在竞争中脱颖而出。
案例分享：Intercom 的 AI Agent Fin
Intercom 是一家 AI 客服平台，他们的 AI Agent Fin 在业内颇有名气。然而，即使是这样的领先企业，在优化 AI 性能时也曾面临挑战。他们采取了评估先行的策略。
在合作初期，Intercom 与 Anthropic 的技术团队合作，将 Fin 的提示词（prompt）迁移到新模型上，并进行了为期两周的评估测试。结果显示，新模型在多个关键指标上优于 Intercom 当时使用的大语言模型。
随后，双方进行了为期两个月的冲刺，优化了所有与 Fin 相关的提示，确保在新模型上获得最佳性能。最终，Fin 2.0 版本上线后，数据显示，Fin 能够处理高达 86% 的客服需求，其中 51% 无需人工介入。这一成果的取得，离不开前期充分的评估和优化。
这个案例告诉我们，评估不仅是检验成果的手段，更是指导整个开发过程的关键环节。
最佳实践二：权衡“智能度、成本、延迟”，找到最优平衡
在 AI 应用中，企业往往需要在“智能度、成本、延迟”这三个维度之间进行权衡。而 Anthropic 的建议是：很少有企业能够同时在这三个方面都做到极致，因此，明确你的核心需求，找到最适合的平衡点至关重要。
• 智能度： AI 模型的准确性和智能水平。
• 成本： 开发和运维 AI 系统的经济成本。
• 延迟： AI 系统响应的速度。
不同的应用场景对这三个维度的要求不同。例如：
• 客服场景： 延迟是关键指标。用户希望在 10 秒内得到回复，否则可能会流失。因此，在客服应用中，快速响应比极高的智能度更重要。
• 金融研究员助手： 智能度是核心。金融决策需要高度准确的信息，响应时间可以适当放宽。
如何找到平衡？
1. 明确核心指标。 根据业务需求，确定哪个维度是最关键的。
2. 设计评估标准。 针对核心指标，设定明确的评估标准。
3. 灵活调整。 在开发过程中，根据评估结果，灵活调整技术方案，找到最优平衡。
例如，在客服场景中，你可以通过设计“思考中”的动画或引导用户阅读其他内容来缓解延迟问题，同时优化模型以提高响应速度。
常见错误：过早考虑微调，忽视基础优化
在 AI 应用中，微调（fine-tuning）是一个常被提及的技术。许多企业一听到微调，就觉得这是提升模型性能的“灵丹妙药”，急于尝试。然而，Anthropic 警告，微调并不是万能的，而且往往不是最佳选择。
微调的误区
1. 微调不是“银弹”。 微调相当于对模型进行“脑外科手术”，会影响模型在其他领域的推理能力。盲目微调可能导致模型在某些任务上表现更好，但在其他任务上表现下降。
2. 微调成本高昂。 微调需要大量的数据和计算资源，而且成功率参差不齐。很多时候，企业投入了大量资源，却未能获得预期的效果。
3. 忽视基础优化。 在没有充分评估和优化基础模型的情况下，过早考虑微调，往往是本末倒置。
何时考虑微调？
建议，只有在基础优化无法满足需求时，才考虑微调。具体来说：
• 先尝试提示工程（prompt engineering）。 通过优化提示词，提升模型在特定任务上的表现。
