DeepLearning AI 吴恩达推出新短课程:《大语言模型(LLM)作为操作系统:代理记忆》,与 Letta Ai共同开发。#ai##ai学习#
LLM的输入上下文窗口空间有限,且更长的上下文会增加成本并减慢处理速度,因此有效管理上下文窗口中的内容十分关键。
在论文《MemGPT:让LLM成为操作系统》中,作者提出通过 LLM 代理来管理上下文窗口。这个系统使用一个大型持久内存来存储所有可能需要的上下文内容,再由代理决定实际输入内容。例如,一个需要长时间记忆的聊天机器人在对话延续时,代理会将早期信息移至可搜索的持久数据库,保留或提取相关内容到当前上下文,以便生成回应。
MemGPT 方法能让 LLM 实现长时记忆,而 Letta 框架已开源,使得该方法更易实施。本课程包括:
- 构建具备自我编辑输入上下文记忆功能的代理,并使用多步骤推理;
- 了解如何应用内存层级管理(源于计算机操作系统的缓存概念)来优化LLM上下文窗口;
- 实现多代理协作,让不同代理共享记忆模块。
该课程适合希望深入学习LLM记忆管理的开发者,尤其适用于聊天机器人和复杂的智能代理工作流。
报名链接:deeplearning.ai/short-courses/llms-as-operating-systems-agent-memory/
ChatGPT 黄建同学的微博视频
LLM的输入上下文窗口空间有限,且更长的上下文会增加成本并减慢处理速度,因此有效管理上下文窗口中的内容十分关键。
在论文《MemGPT:让LLM成为操作系统》中,作者提出通过 LLM 代理来管理上下文窗口。这个系统使用一个大型持久内存来存储所有可能需要的上下文内容,再由代理决定实际输入内容。例如,一个需要长时间记忆的聊天机器人在对话延续时,代理会将早期信息移至可搜索的持久数据库,保留或提取相关内容到当前上下文,以便生成回应。
MemGPT 方法能让 LLM 实现长时记忆,而 Letta 框架已开源,使得该方法更易实施。本课程包括:
- 构建具备自我编辑输入上下文记忆功能的代理,并使用多步骤推理;
- 了解如何应用内存层级管理(源于计算机操作系统的缓存概念)来优化LLM上下文窗口;
- 实现多代理协作,让不同代理共享记忆模块。
该课程适合希望深入学习LLM记忆管理的开发者,尤其适用于聊天机器人和复杂的智能代理工作流。
报名链接:deeplearning.ai/short-courses/llms-as-operating-systems-agent-memory/
ChatGPT 黄建同学的微博视频