专栏名称: 顶层架构领域
专注核心架构领域知识、经典干货总结、技术领域趋势跟踪,以通俗易懂的方式传播——复杂的事简单化
目录
相关文章推荐
51好读  ›  专栏  ›  顶层架构领域

深入理解思维树 (ToT)策略提示词设计

顶层架构领域  · 公众号  ·  · 2024-06-28 08:30

正文

点击上方 蓝色 顶层架构领域 ”,关注精彩与你分享

Prompt的技巧策略应适应LLM大模型框架进行改进,主要框架包括链式思考、思维树和检索增强生成。本文将深入学习思维树,探讨如何建立解决通用问题的语言模型,并使LLM深思熟虑地解决问题。思维树是进化版的提示策略,引入复杂思维结构,以引导模型生成准确、连贯的输出。

一、何为思维树(ToT)

想象一下,你正在驾驶一辆汽车,没有地图的情况下如何进入正确的路口,找到最佳的路径?在这样的场景下,思维树就像是一张详细的道路地图。在这张地图上,不同的道路代表着不同的语义信息,而交叉口和路标则代表着不同的思维节点。当你提出一个问题或者输入一个请求时,就相当于输入了目的地,而思维树会根据你的输入在地图上找到最佳的路径,指引你达到目的地。
思维树作为一种新型导航系统,在智能和灵活性方面超越了传统模型。它不仅规划出最短路线,还根据个人需求和具体情境进行路线调整。
例如,在提出问题时,思维树能够综合考虑问题的多维度,探索多条相关路径,并呈现多样化的解决方案。
随着问题表述的更改或更多信息的添加,思维树能够动态调整其路线规划,以提供更加精确的答案。这种系统如同一个富有洞察力的向导,助力我们更深入地理解和生成自然语言,确保信息输出的准确性和连贯性。
ToT框架的核心概念是以树状结构来表示语义信息。 这种结构是一个数据形式和抽象概念,帮助模型理解输入序列的语义信息并在生成输出时参考这些信息。它使得ToT框架能更好地模拟人类思维,产生自然、准确的文本。
ToT的具体回答框架包括以下四个问题:
  1. 举一反三,列举多路径通罗马
  2. 分布评估,集成方案,选择最优
  3. 启发性地评估状态,前后枚举追溯,全局最优
  4. 集成开搜,确定路径

图1:展示了利用LLMS解决问题的方法。每个框表示一个连贯的思考过程,作为解决步骤。

二、TOT核心框架

ToT核心框架的讲解深入,但本文避免使用复杂公式。
CoT方法通过逐步展示模型的响应过程,降低了结果不准确的风险并简化了评估。 这种方法不仅显示最终答案或解决方案,还展示了达到答案的具体步骤,特别适用于教育和解释复杂问题,以及需要详细说明决策过程的情况。它让用户能够跟踪模型的思考过程,理解从问题描述到结论的路径。

ToT(Tree of Thoughts)被视为CoT (Chain of Thoughts)的升级版,主要是因为它在表示和利用语义信息方面更加强大和灵活。ToT使用树状结构表示语义信息,与CoT的线性链式不同,ToT能更好地捕捉和表示复杂语义关系,提高对自然语言的理解和生成。
通过引入树状结构,ToT能够同时考虑多个思维路径,不仅限于单一线性结构。这使得ToT能根据不同的语境和需求生成多样化的输出,实现语义的分层和组织。
在ToT框架中,节点代表语义单元如概念或主题。节点通过边相连形成关联网络。模型接收序列后寻找相关节点并据此生成输出。

ToT框架能同时考虑多条思维路径并根据语义信息动态调整输出策略,使其生成文本灵活、多样化并适应不同语境。







请到「今天看啥」查看全文


推荐文章
星座不求人  ·  会为爱人做出改变的六大星座?
8 年前
手艺门  ·  老子就是春药!
7 年前