专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
爱可可-爱生活  ·  【lumen:一款AI驱动的命令行工具,帮你 ... ·  昨天  
宝玉xp  ·  转发微博-20241112132102 ·  昨天  
爱可可-爱生活  ·  【WassersteinFlowMatchi ... ·  4 天前  
黄建同学  ·  #冬季第一个节气##立冬# ... ·  1 周前  
51好读  ›  专栏  ›  黄建同学

DeepLearning AI 吴恩达推出新短课程:《大语言模型-20241110092859

黄建同学  · 微博  · AI  · 2024-11-10 09:28

正文

2024-11-10 09:28

DeepLearning AI 吴恩达推出新短课程:《大语言模型(LLM)作为操作系统:代理记忆》,与 Letta Ai共同开发。#ai##ai学习#

LLM的输入上下文窗口空间有限,且更长的上下文会增加成本并减慢处理速度,因此有效管理上下文窗口中的内容十分关键。

在论文《MemGPT:让LLM成为操作系统》中,作者提出通过 LLM 代理来管理上下文窗口。这个系统使用一个大型持久内存来存储所有可能需要的上下文内容,再由代理决定实际输入内容。例如,一个需要长时间记忆的聊天机器人在对话延续时,代理会将早期信息移至可搜索的持久数据库,保留或提取相关内容到当前上下文,以便生成回应。

MemGPT 方法能让 LLM 实现长时记忆,而 Letta 框架已开源,使得该方法更易实施。本课程包括:
- 构建具备自我编辑输入上下文记忆功能的代理,并使用多步骤推理;
- 了解如何应用内存层级管理(源于计算机操作系统的缓存概念)来优化LLM上下文窗口;
- 实现多代理协作,让不同代理共享记忆模块。

该课程适合希望深入学习LLM记忆管理的开发者,尤其适用于聊天机器人和复杂的智能代理工作流。

报名链接:deeplearning.ai/short-courses/llms-as-operating-systems-agent-memory/

ChatGPT 黄建同学的微博视频