//
@markli97
:gpt4和“智能助手”或者“大模型”这个概念在互联网语料里的绑定太深了,深到即使在数据里滤掉chatgpt的自我介绍也无法改变,而你又不可能把含有gpt4字段的语料都一股脑丢掉(因为这是重要的通用知识) 唯一的办法就是后训练rl的时候针对性地调自我认知,但是这个会有副作用,ds那边显然也没太管这方面
海外很多脑瘫,抓着 DeepSeek V3 回答自己是 GPT-4 这个事情疯狂发挥。
意思能用这么少的钱训练模型是因为用了很多Open AI的数据。
意思能用这么少的钱训练模型是因为用了很多Open AI的数据。