专栏名称: 人机与认知实验室
北京邮电大学人机交互与认知工程实验室 联系方式:[email protected]
目录
相关文章推荐
51好读  ›  专栏  ›  人机与认知实验室

大模型的token与权重解决不了价值性问题

人机与认知实验室  · 公众号  ·  · 2025-02-08 00:00

正文

包括DS、GPT在内的所有AI大模型都是由Token与权重(参数)组成的,但Token与 权重(参数 本身并不能直接解决价值问题,虽然可以通过多种方式为价值的创造和传递提供支持和解决方案,依然存在不少基因性缺陷。

一、Token 的局限性

1)语义理解的局限:Token 是大模型 处理文本的基本单位,但其本身并不直接蕴含价值判断。例如,“钱”这个 token 在不同的语境中可能代表财富、诱惑或目标等不同的含义,模型仅凭 token 无法判断其具体的价值指向。

2)文化和社会背景的缺失:Token 的含义受到文化、社会背景等因素的影响,而这些因素在模型中难以完全体现。比如,在一些文化中,“孝顺”被视为重要的价值观,但在另一些文化中可能并非如此,模型无法仅通过 token 来理解这种差异。

3)无法处理模糊和抽象的价值概念:一些价值概念如“公平”“正义”等具有模糊性和抽象性,难以用具体的 token 来准确表达。模型在处理这些概念时容易出现偏差,无法准确把握其价值内涵。

二、权重 的局限性

1)无法直接反映价值偏好:权重主要用于调整模型中不同参数的重要性,以优化模型的性能。然而,权重本身并不直接对应于特定的价值观或价值偏好。例如,在一个文本生成任务中,模型可能会根据权重生成更流畅或更符合语法的文本,但这并不意味着生成的文本具有更高的价值。







请到「今天看啥」查看全文