和 AI 对话多少轮之后重开新的会比较合适?当 GPT 回答出现错误的时候,是应该直接放弃掉这次对话还是说指出他的错误,以后继续使用该对话?
这类问题的核心在于:你的会话中所有消息内容加起来多长?以及你是不是在乎幻觉?
对于大语言模型来说,它是没有记忆功能的,也就是每一次你必须发送给它所有的历史会话内容,也就是每次发新消息都会把历史消息一起发送过去。但是这样一直累加就会超出最大上下文窗口长度,并且会让会话的成本急剧上升,毕竟内容越多,需要消耗的算力越大。
所以对于 AI 聊天应用来说,在几轮会话后会自动对历史会话进行摘要,只保留最近的几次会话。这也是为什么你和 AI 聊的多了,它可能会忘记前面聊过的内容。
一图胜千言,如果你明白在和 AI 聊天时,多轮对话中上下文窗口的工作原理,就会明白这类问题以后该如何处理了。
摘自《和 AI 对话多少轮之后重开新的会比较合适?》:
网页链接
这类问题的核心在于:你的会话中所有消息内容加起来多长?以及你是不是在乎幻觉?
对于大语言模型来说,它是没有记忆功能的,也就是每一次你必须发送给它所有的历史会话内容,也就是每次发新消息都会把历史消息一起发送过去。但是这样一直累加就会超出最大上下文窗口长度,并且会让会话的成本急剧上升,毕竟内容越多,需要消耗的算力越大。
所以对于 AI 聊天应用来说,在几轮会话后会自动对历史会话进行摘要,只保留最近的几次会话。这也是为什么你和 AI 聊的多了,它可能会忘记前面聊过的内容。
一图胜千言,如果你明白在和 AI 聊天时,多轮对话中上下文窗口的工作原理,就会明白这类问题以后该如何处理了。
摘自《和 AI 对话多少轮之后重开新的会比较合适?》:
网页链接