专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
黄建同学  ·  #ChatGPT高级语音功能全量开放##ai ... ·  2 天前  
爱可可-爱生活  ·  [LG]《Counterfactual ... ·  2 天前  
宝玉xp  ·  //@西雅图黄都督:这只是民间呼吁//@Ex ... ·  2 天前  
黄建同学  ·  #ai##科技# ... ·  2 天前  
51好读  ›  专栏  ›  黄建同学

回复@smart_tiger请问我今天写论文没:这个倒不一定,因-20240922065245

黄建同学  · 微博  · AI  · 2024-09-22 06:52

正文

2024-09-22 06:52

回复@smart_tiger请问我今天写论文没:这个倒不一定,因为IoT核心是LLm内部进行反复迭代,所以输入和输出的token不会有什么变化。但是,因为费计算资源,每个token会更贵。就像现在o1-preview单token更贵一样,本质是每个token费的计算资源更多了。//@smart_tiger请问我今天写论文没:感觉很费token
继CoT后,有个可能要火🔥🔥🔥的新概念是IoT #ai##chatgpt#

IoT:Iteration of Thought,利用内部对话实现自主的大型语言模型推理

迭代式人类参与是利用大型语言模型 (LLM) 的高级语言处理能力的一种常见且有效的方法。通过以对话方式使用结构良好的提示,人类用户可以有效地影响 LLM 以开发更周到和准确的响应。

受此启发,研究提出了思维迭代 (IoT) 框架,通过针对输入查询和 LLM 响应的当前迭代生成“引发思考”的提示来增强 LLM 响应。

与静态或半静态方法(如思维链 (CoT) 或思维树 (ToT))不同,IoT 会根据不断变化的上下文动态调整其推理路径,而不会生成最终被丢弃的替代探索性想法。

IoT 框架的三个组件:
(1) 内部对话代理 (IDA),负责生成具有指导意义的上下文特定提示;
(2) LLM 代理 (LLMA),处理这些提示以改进其响应;
(3) 迭代提示循环,实现前两个组件之间的对话。

论文:arxiv.org/abs/2409.12618

ChatGPT