专栏名称: 玉树芝兰
思考教育、写作和互联网。 我已委托“维权骑士”(rightknights.com)为我的文章进行维权行动。
目录
相关文章推荐
天池大数据科研平台  ·  一文详解|如何微调(Fine-tuning) ... ·  2 天前  
数据派THU  ·  【NeurIPS2024】CA-SSLR:面 ... ·  5 天前  
软件定义世界(SDX)  ·  企业数字化顶层业务模型设计 ·  3 天前  
软件定义世界(SDX)  ·  2024年中国AI大模型场景探索及产业应用调研报告 ·  5 天前  
51好读  ›  专栏  ›  玉树芝兰

低成本反思式大模型能给你的 AI 工作流带来什么改变?

玉树芝兰  · 公众号  · 大数据  · 2024-12-28 08:40

主要观点总结

文章讨论了外部技术环境变化下,工作流的应用与发展趋势。文章指出,虽然存在全自动化工作流框架,但在某些情况下,拆分工具调用更加可控和省心。同时,借助分步骤或多模型配合可以在流程中省下不少成本。文章还提到OpenAI的o1等模型成本高,限制了其日常应用的普及性,但未来如果反思式大模型变得便宜,将会带来怎样的变化值得思考。

关键观点总结

关键观点1: 工作流的应用与发展趋势

文章讨论了工作流的应用在不同目标中的作用,包括区分工具与模型的调用、省钱等。同时提到了一些自动化处理框架的进步与存在的问题。

关键观点2: 工具调用的拆分

文章指出在某些工作流阶段,拆分工具调用比使用全自动化工作流更加可控和省心。

关键观点3: 反思式大模型的成本问题

文章提到OpenAI的o1等模型成本高,限制了其日常应用的普及性。但提出如果反思式大模型未来变得便宜,将会带来未知的变化。


正文

(注:本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费

在外部技术环境快速变化的年代,「路径依赖」要不得。与时俱进才是正途。

工作流

这半年多的时间,我没少给你演示 AI 工作流的作用。最初是用别人的框架(例如 fabric)。后来,我也开始自己开发框架,就是 咱们的 Python 版本 AI Workflow。工作流的应用有不同目标,其中一个是区分某个步骤用的是工具还是模型。大模型功能再强,API 调用方式大都暂时还无法完全替代工具调用,除非它本身能在内部调用这些工具。好在这个趋势并不遥远,因为 OpenRouter 已经在做类似尝试。

现在它已经给所有的模型都加上了调用搜索的功能。后续如果把这个功能集成到 API 调用里,那么你今后设计工作流的方式将会发生很大变化。

不过咱们还是说说眼下的事儿。如果需要在工作流的某个阶段调用类似 exa、Perplexity 搜索引擎的工具,把它拆分出来独立使用,往往比使用那些声称「全自动化」的工作流更加可控,也更省心。之前我们也提到过几款把大模型和工具调用自动整合到一起的框架,例如 Phidata(https://www.phidata.com/)或 CrewAI(https://www.crewai.com/)。它们确实能在很多环境中实现自动化处理,只是在我当时测试时,设置过程还挺麻烦。最近据说它们有了改进,但我还没再次尝试。主要是我想不出什么地方一定需要它们「动态」自动处理工作流程。有的时候,你让大模型自己乱搞,还真不如一上来把流程用固定表述完整。至少在目前,这样更靠谱些。

使用工作流的另一个目的嘛,在于省钱,哈哈。我之前演示过的 OpenAI 的 o1 Preview,能一站式完成从资料整理、内容排布到最后格式化输出的一系列工作。不过,o1 Preview 的价格确实不便宜。现在你可以用 o1 了,也很贵,你懂的。


这让我想到电视剧《编辑部的故事》里那集《水淹七军》。有一位老厨师很擅长做萝卜菜,但编辑们来请教时,他就是不肯讲做法。后来在紧急时刻(全市人民看了《人间指南》臆想出来的食谱,都一趟趟往厕所跑),他才坦白:这道菜其实是富贵菜,除了萝卜,还得加上牛、马、猪、羊、狗五畜,以及鸡、鸭二禽。这样做出来的确是豪华版本的萝卜菜,一般家庭吃不起,所以他才不愿意说出菜谱。OpenAI 的 o1 以及更高版本的模型,就跟这个「富贵菜」有点相似。因为价格太高,普通人用它来一站式处理的成本压力很大,导致不太现实。

借助分步骤或多模型配合,你可以在流程中省下不少成本。对于普通日常应用,Claude 3.5 Sonnet 或 OpenAI 的 ChatGPT 4.0 等更主流且便宜的模型,往往更容易被大多数人接受。它们分步骤处理小任务,之后结合起来的输出效果,对普通人来说也足以满足需求。

成本高昂这一点,一直是困扰咱们使用反思式大模型一站式处理任务的障碍。不过,你想没想过,如果哪一天这种好用的反思式大模型变得便宜了,会怎么样呢?

这不,说来它就来了。

新秀