AI Engine实验室发布“大语言模型智能体记忆机制综述”

在综述中，我们讨论了“什么是智能体的记忆”和“为什么智能体需要记忆”，总结回顾了“如何实现智能体的记忆”和“如何评测智能体的记忆能力”，归纳整理了“记忆增强的智能体应用”，并提出当前工作存在的局限性和未来方向。通过该综述，我们希望能够为研究者带来启发，推动大语言模型智能体领域的发展。

论文链接: https://arxiv.org/abs/2404.13501

Github: https://github.com/nuster1128/LLM_Agent_Memory_Survey

对于智能体的记忆，从记忆内容的来源出发，我们提出了狭义和广义两种记忆概念：

• 狭义记忆 ：记忆是智能体在 进行本次任务时 与环境交互的历史信息。

• 广义记忆 ：记忆除了包括智能体在 本次任务进行时 与环境的交互信息，还包括此前 完成该类任务的经验 ，以及 外部知识 。

举例如下：

假设现在小明让智能体为他推荐一部电影，且他们通过对话来明确小明的观影兴趣，则对话内容是本次任务进行时的交互信息，即为智能体的狭义记忆。如果智能体此前为小明推荐过书籍，则小明的阅读兴趣会侧面反映他的观影兴趣，智能体可以对其进行总结，并作为该类推荐任务的经验；如果智能体需要从外部电影网站上获取一些知识，例如某个电影的导演和演员信息，则可以视为获取了与小明对话这一环境之外的信息，即外部知识，这两类信息与狭义记忆一起构成了广义上的智能体的记忆。

从记忆操作机制的角度，智能体的记忆模块通常需要实现 记忆写入 、 记忆管理 和 记忆读取 三个操作，这三部分支持了智能体与环境的长期交互，以及智能体的知识学习和决策进化。

为了更好地阐述记忆对智能体的重要性，我们从认知心理学、智能体的自我进化和智能体的应用三个角度进行讨论。

• 认知心理学角度 ：为了更好地让智能体完成任务，智能体的设计往往需要借鉴人类的思维特点。而记忆对于人类而言，在 知识学习 、 概念提取 、 价值观孵化 、 社会规范形成 和 文化萌芽 等方面具有重要作用。

• 智能体的自我进化 ：在智能体与环境的交互过程中，记忆承担了 经验积累 、 环境探索 和 知识提取 的作用，使智能体能够在于环境的动态交互过程中不断自我进化。

• 智能体的应用 ：在智能体的实际应用中，记忆对于 语境连贯 、 角色定位 和 领域知识积累 等方面具有关键作用。

从记忆的来源角度出发，我们将现有工作分为Inside-trial Information, Cross-trial Information和External Knowledge三类来源，这种分类与上文中“广义记忆”的三部分记忆内容来源相对应。

• Inside-trial Information : 智能体在进行本次任务时与环境交互的历史信息。

• Cross-trial Information : 智能体在此前完成该类任务的历史经验信息。

• External Knowledge : 智能体在当前交互环境之外所获得的信息。

其中，前两种记忆都来源于与智能体交互的环境内部，需要智能体亲自参与到交互中来获得信息；而第三种记忆来源于当前交互环境之外，无需智能体参与到当前环境的交互中即可获得。

从记忆的实现形式角度出发，我们将现有工作分为文本形式(Textual Form)和参数形式(Parametric Form)两种实现形式，不同的形式有各自的实现方法。

• 文本形式记忆 ：本质上是用 显式(Explicit) 的方法表示记忆。在文本形式的记忆中，可以通过 完全信息记忆 、 最近信息记忆 、 检索信息记忆 和 工具信息记忆 四类方法来实现智能体的记忆机制。

• 参数形式记忆 ：本质上是用 隐式(Implicit) 的方法。在参数形式的记忆中，可以通过 模型微调 和 记忆编辑 两类方法来实现智能体的记忆机制。

总体上，目前多数记忆机制采用显式的文本形式，而参数形式的记忆仍在探索中。但两种记忆机制的实现形式有各自的优缺点，适用于不同的场景。

从记忆的操作角度出发，我们将现有工作按照记忆写入(Memory Writing)、记忆管理(Memory Management)和记忆读取(Memory Reading)三个重要操作进行总结。

• 记忆写入 ：智能体将重要的信息写入记忆存储，作为未来的推理和决策依据。在记忆写入时，既可以写入原始信息，也可以对其进行总结提取，或同时记录辅助信息。

• 记忆管理 ：智能体将写入的记忆进行管理与加工，例如 记忆合并 、 记忆反思 和 记忆遗忘 。

• 记忆读取 ：智能体在决策时可以使用此前存储的相关记忆信息，来为决策提供更多信息与知识。

在智能体与环境的交互中，记忆的写入、管理和读取三者相互联系，相互影响，共同参与交互过程。