2024年LangChain AI生态报告:开源模型崛起,AI代理应用激增↓#ai创造营##chatgpt#
2024年是构建大语言模型(LLM)应用的又一个突破年!每月近3万用户加入LangSmith平台,展现了AI行业的动态趋势。一些关键变化:
1. 开源模型的强劲增长
- OpenAI仍然是使用最广泛的LLM提供商,但支持本地和云端部署开源模型的Ollama和Groq迅速崛起。
- Ollama、Mistral和Hugging Face等开源模型平台在LangSmith上的使用量占比已达前20名LLM供应商总量的20%。
2. 从检索到多步工作流的转变
- 过去一年,AI代理(如LangGraph)的使用率显著提升,目前43%的LangSmith组织在发送LangGraph traces。
- 工具调用的使用也从2023年的0.5%增加到2024年的21.9%,表明开发者正在构建更复杂的多步骤任务工作流。
3. 技术生态多样化
- Python仍然是最主流的开发语言,但JavaScript SDK的使用同比增长了3倍,占比达15.3%。
- 15.7%的LangSmith追踪数据来自非LangChain框架,显示出生态系统的互操作性需求。
4. 性能与效率的平衡
- 平均工作流步骤从2023年的2.8步增加到2024年的7.7步,展现了更复杂的工作流设计。
- 尽管复杂性提高,但平均LLM调用次数仅小幅增长,开发者正优化系统以减少昂贵的模型调用。
5. 质量与反馈机制
- LLM评估工具通过“LLM-as-Judge”方法对生成结果进行评分,关注相关性、准确性、精确匹配和有用性等指标。
- 用户提供的人类反馈量同比增长18倍,但单次运行的反馈条目相对稀疏,优先集中于关键问题。
详情:blog.langchain.dev/langchain-state-of-ai-2024/
ChatGPT
2024年是构建大语言模型(LLM)应用的又一个突破年!每月近3万用户加入LangSmith平台,展现了AI行业的动态趋势。一些关键变化:
1. 开源模型的强劲增长
- OpenAI仍然是使用最广泛的LLM提供商,但支持本地和云端部署开源模型的Ollama和Groq迅速崛起。
- Ollama、Mistral和Hugging Face等开源模型平台在LangSmith上的使用量占比已达前20名LLM供应商总量的20%。
2. 从检索到多步工作流的转变
- 过去一年,AI代理(如LangGraph)的使用率显著提升,目前43%的LangSmith组织在发送LangGraph traces。
- 工具调用的使用也从2023年的0.5%增加到2024年的21.9%,表明开发者正在构建更复杂的多步骤任务工作流。
3. 技术生态多样化
- Python仍然是最主流的开发语言,但JavaScript SDK的使用同比增长了3倍,占比达15.3%。
- 15.7%的LangSmith追踪数据来自非LangChain框架,显示出生态系统的互操作性需求。
4. 性能与效率的平衡
- 平均工作流步骤从2023年的2.8步增加到2024年的7.7步,展现了更复杂的工作流设计。
- 尽管复杂性提高,但平均LLM调用次数仅小幅增长,开发者正优化系统以减少昂贵的模型调用。
5. 质量与反馈机制
- LLM评估工具通过“LLM-as-Judge”方法对生成结果进行评分,关注相关性、准确性、精确匹配和有用性等指标。
- 用户提供的人类反馈量同比增长18倍,但单次运行的反馈条目相对稀疏,优先集中于关键问题。
详情:blog.langchain.dev/langchain-state-of-ai-2024/
ChatGPT