包括DS、GPT在内的所有AI大模型都是由Token与权重(参数)组成的,但Token与
权重(参数
)
本身并不能直接解决价值问题,虽然可以通过多种方式为价值的创造和传递提供支持和解决方案,依然存在不少基因性缺陷。
一、Token 的局限性
1)语义理解的局限:Token 是大模型
处理文本的基本单位,但其本身并不直接蕴含价值判断。例如,“钱”这个 token 在不同的语境中可能代表财富、诱惑或目标等不同的含义,模型仅凭 token 无法判断其具体的价值指向。
2)文化和社会背景的缺失:Token 的含义受到文化、社会背景等因素的影响,而这些因素在模型中难以完全体现。比如,在一些文化中,“孝顺”被视为重要的价值观,但在另一些文化中可能并非如此,模型无法仅通过 token 来理解这种差异。
3)无法处理模糊和抽象的价值概念:一些价值概念如“公平”“正义”等具有模糊性和抽象性,难以用具体的 token 来准确表达。模型在处理这些概念时容易出现偏差,无法准确把握其价值内涵。
二、权重
的局限性
1)无法直接反映价值偏好:权重主要用于调整模型中不同参数的重要性,以优化模型的性能。然而,权重本身并不直接对应于特定的价值观或价值偏好。例如,在一个文本生成任务中,模型可能会根据权重生成更流畅或更符合语法的文本,但这并不意味着生成的文本具有更高的价值。