专栏名称: 宝玉xp
前微软Asp.Net最有价值专家 互联网科技博主 我是宝玉。
目录
相关文章推荐
爱可可-爱生活  ·  【macmon:适用于苹果硅处理器的性能监控 ... ·  昨天  
信息平权  ·  制裁?送钱罢了 ·  3 天前  
信息平权  ·  制裁?送钱罢了 ·  3 天前  
爱可可-爱生活  ·  [CL]《Attacking ... ·  5 天前  
爱可可-爱生活  ·  【Agora协议:一个让不同大型语言模型(L ... ·  5 天前  
51好读  ›  专栏  ›  宝玉xp

和 AI 对话多少轮之后重开新的会比较合适?当 GPT 回答出-20241113043829

宝玉xp  · 微博  · AI  · 2024-11-13 04:38

正文

2024-11-13 04:38

和 AI 对话多少轮之后重开新的会比较合适?当 GPT 回答出现错误的时候,是应该直接放弃掉这次对话还是说指出他的错误,以后继续使用该对话?

这类问题的核心在于:你的会话中所有消息内容加起来多长?以及你是不是在乎幻觉?

对于大语言模型来说,它是没有记忆功能的,也就是每一次你必须发送给它所有的历史会话内容,也就是每次发新消息都会把历史消息一起发送过去。但是这样一直累加就会超出最大上下文窗口长度,并且会让会话的成本急剧上升,毕竟内容越多,需要消耗的算力越大。

所以对于 AI 聊天应用来说,在几轮会话后会自动对历史会话进行摘要,只保留最近的几次会话。这也是为什么你和 AI 聊的多了,它可能会忘记前面聊过的内容。

一图胜千言,如果你明白在和 AI 聊天时,多轮对话中上下文窗口的工作原理,就会明白这类问题以后该如何处理了。

摘自《和 AI 对话多少轮之后重开新的会比较合适?》:
网页链接