专栏名称: 人工智能学家

致力成为权威的人工智能科技媒体和前沿科技研究机构

图灵测试视角下大模型聊天机器人与人类行为比较分析

人工智能学家 · 公众号 · AI · 2024-09-01 17:54

正文

推介语

以ChatGPT为代表的大模型具备多项技术突破，基于大模型的AI机器行为开始具备人的语言行为特征、能够用自然语言同人类进行对话，AI机器人是否已经超越“图灵测试”的标准？这项2024年初发表于PNAS的研究开展了一项图灵测试，对AI聊天机器人表现出的行为和人格特征进行评估。

研究发现，以ChatGPT为代表的AI大模型聊天机器人在行为和人格上表现出的特征在统计层面与来自50多个国家的数万名人类被试没有明显差异。在一些有别于人类行为特征的维度上，大模型聊天机器人倾向于表现出更加利他、合作的特质。与各位读者共同品鉴。

A Turing test of whether AI chatbots are behaviorally similar to humans

作者： Qiaozhu Mei, Yutong Xie, Walter Yuan, and Matthew O. Jackson

发表时间： February 22, 2024

发表刊物： PNAS

引言

正如艾伦·图灵所预见的那样，现代人工智能已经达到了接近人类的程度：它们可以进行对话、提供建议、写诗以及证明数学定理。图灵提出了一项有趣的测试：与人工智能或人类互动的被试者是否能够区分哪个是人造的，这种“模仿游戏”即是图灵测试。

大型语言模型的发展引起了激烈的讨论。讨论内容包括从AI机器人模仿、协助甚至超越人类的潜力（例如，写文章、编写计算机程序、提供经济建议或发展想法）到它们对劳动力市场的潜在影响及更广泛的社会影响。由于AI的某些角色涉及决策制定和与人类的战略互动，因此在将其作为社会的协作者之前，必须了解其行为倾向。人工智能会选择与人类相似的行动或策略吗？如果不是，它们有何不同？他们是否表现出能够影响决策的独特个性和行为特征？这些策略和特征在不同情境中是否一致？

基于此，这项以人类询问者的身份将基于大模型的AI聊天机器人的选择与数万名人类选择进行比较，并选取ChatGPT这一AI聊天机器人作为研究对象。研究者表示，如果ChatGPT的响应无法在统计上与随机选择的人类响应区分开来，则称AI大模型通过了图灵测试。

方法与设计

研究实施互动式会话，促使AI聊天机器人参与经典的行为经济学游戏，并回答与人类被试者相同的调查问题。研究者将聊天机器人的行为方式与人类的行为方式进行比较，并估计哪种收益函数最能预测聊天机器人的行为。

研究检验了广泛使用的AI聊天机器人ChatGPT，主要评估其两个API版本GPT-3.5-Turbo和GPT-4。同时，研究也将基于订阅的网页版（Plus）和免费使用的网页版纳入比较范围（Free）。人类受试者数据来自公开的大五人格测试响应数据库和MobLab课堂经济学实验平台，涵盖了超过50个国家的10万余个被试者。研究者将OCEAN大五人格调查问卷投发给每个聊天机器人来创建人格档案。随后，研究者询问每个聊天机器人在一组6种游戏中的行为选择，该游戏用以解释多种行为特征。

· 独裁者游戏：给定一笔资金，一名玩家（独裁者）选择保留多少资金以及捐赠多少给第二名玩家。这涉及到利他主义。

· 最后通牒游戏：给定一笔资金，一个玩家（提议者）将一部分资金提供给第二个玩家（响应者），第二个玩家要么接受分配，要么拒绝；在后一种情况下，两个玩家都得不到任何东西。这涉及公平和恶意。

· 信任游戏：给定一笔资金，一个玩家（投资者）决定保留多少资金，并将剩余部分传递给第二个玩家（银行家），然后将其增加三倍。银行家决定保留三倍收入中的多少，并将剩余部分返还给投资者。这涉及信任、公平、利他主义和互惠。

· 炸弹风险游戏：玩家从100个盒子中选择打开多少个盒子，每个打开的盒子都会给玩家奖励，但如果遇到随机放置的炸弹，玩家就会失去一切。这涉及到风险厌恶。

· 公共物品游戏：给定一笔资金，玩家选择保留多少金钱以及为公共物品贡献多少，并获得所有四名玩家捐赠给公共物品总额的一半。这涉及搭便车、利他主义和合作。

· 有限重复的囚徒困境游戏：在五个时期的每个时期中，两名玩家同时选择是“合作”还是“背叛”。如果双方合作，则产生最高的组合收益；但如果他们背叛，则一个玩家获得更高的收益。这涉及合作、互惠和战略推理。

在单个会话中，每个聊天机器人回答每个调查问题，并在每个游戏中扮演每个角色30次。鉴于无法向聊天机器人付费，研究者会询问他们在每场游戏中扮演每个角色时的表现如何。

研究结果

1、AI聊天机器人的人格档案

比较人类和聊天机器人，ChatGPT-4在所有五个维度的中值分数方面都与人类受访者表现出很大的相似性。ChatGPT-3同样在四个维度上表现出类似的模式，但在开放性维度上显示出相对较低的分数。

图1展示了聊天机器人的大五人格档案，并将它们与人类分布进行了比较。

2、游戏与图灵测试

作为基准，研究者还报告了两个人类受访者配对时会发生什么。在这种情况下，输赢应该是相等的（由于只进行10,000次抽样，可能会有差异）。研究发现，总体上（平均）ChatGPT-4实际上比随机的人类受访者更多地被选为人类或者两者各占一半，而ChatGPT-3被选为人类的频率比随机的人类受访者要少。从这个意义上说，ChatGPT-4通过了图灵测试，而ChatGPT-3没有。

不同游戏的结果差异很大。ChatGPT-4在除了囚徒困境和信任游戏的所有游戏中都比人类表现更好或相当。在囚徒困境游戏中，AI大多数时候是合作的，而人类的模式更倾向于背叛。在信任游戏中，作为投资者角色的AI通常会将一般的资金用于投资，而人类往往会采取极端的方式——全部投资或者零投资。ChatGPT-3在一些游戏中表现出色，但总体而言表现逊于人类。

图2 游戏行为的图灵测试结果

3、AI聊天机器人与人类行为的比较

研究者通过比较AI反应的分布与人类反应的分布，更详细地研究游戏中的行为分布。人类玩家的行为通常表现出多个峰值和非平凡的方差，表明整个人群存在不同的行为模式。如图3所示，ChatGPT-3做出的决策通常会产生单模式、具有不寻常方差的适度偏态分布。相反，ChatGPT-4的决策形成了更集中的分布。

图 3

行为特征评估游戏的具体细节如下。

A. 利他

在涉及分配问题的游戏中，聊天机器人对其他玩家的行为比人类中位数更加慷慨。特别是，他们表现出渐增的慷慨：在独裁者游戏（图3A）中，作为最后通牒游戏中的提议者（图3B），作为信任游戏中的银行家（图3E），以及作为公共物品游戏中的贡献者（图3F）。ChatGPT的决策符合某种形式的利他主义、公平、同理心和互惠，而不是使得个人回报最大化。

B. 公平

在结果取决于其他玩家同意的游戏中（即在最后通牒游戏中），与不是这种规则的游戏（即在独裁者游戏中）相比，ChatGPT-3通常会提出对其他玩家更有利的交易，这种行为同样在在人类数据被发现。相比之下，ChatGPT-4在其决策过程中总是优先考虑公平性。

C. 信任

总体而言，与ChatGPT-3相比，ChatGPT-4对银行家(第一/其他玩家)表现出更多的"信任"，投入了更高比例的资金禀赋，如图3D所示。这比人类所表现出来的更具信任性，除了一个人群投入了他们全部的禀赋。两种聊天机器人也倾向于在公共物品项目上投入比人类玩家更多的资金，如图3F所示。

D. 合作

在囚徒困境游戏中，ChatGPT的第一个行为最常表现为合作的(图3H)。特别地，ChatGPT-4在第一轮的策略明显比人类玩家更倾向于合作，绝大多数(91.7%)的会话选择合作，而人类玩家的这一比例为45.1%。ChatGPT-3的策略介于两者之间，选择合作的占76.7%。在公共物品游戏中，ChatGPT-3和ChatGPT4也比人类玩家更倾向于合作(图3F)。

E. 以牙还牙

虽然聊天机器人在囚徒困境游戏中表现出比典型人类主体更高的合作倾向，但他们的合作并不是无条件的。如图4A所示，如果其他玩家在第一轮选择合作，ChatGPT-4在下一轮的决策会保持相同。另一方面，在第一轮选择"背叛"的ChatGPT-3会话中，约有一半的会话转向了第二轮的"合作"。一小部分的合作会话也会转换为背叛，这在人类受试者中也存在类似的行为。

图 4

F. 风险厌恶

聊天机器人表现出的风险偏好也存在差异。在炸弹风险游戏中(图5)，ChatGPT-3和ChatGPT-4都主要选择使得打开50个盒子的期望收益最大化的决策。这与人类更为多样的决策形成了鲜明对比，后者包括一群只选择打开一个盒子的极端被试者。

图 5

4、AI聊天机器人显露的偏好

研究者通过推断哪些偏好会使AI行为合理化来进行系统分析。这使得人们能够从样本中做出预测，因此文章估计了一个最佳预测AI行为的目标函数。首先，文章考虑一个效用函数，它是两个参与者收益的加权平均：

其中，b ∈ [0, 1]。完全自私的偏好对应于b = 1，完全无私的利他偏好对应于b = 0，博弈双方的总收益最大化对应于b = 1/2。

文章估计何种b能最好地预测行为。从人类分布来考虑游戏的分布。给定伙伴游戏的分布，对于每一个b ∈ [0, 1]，存在一个最佳反应的收益：即如果玩家的效用函数用b来描述，那么玩家在行动中可能获得的最佳期望效用。研究者对聊天机器人(或人类)在游戏中的行为分布的平方误差进行了平均；然后，观察所有游戏的均方误差，并选择 b ∈ [0, 1]以最小化该均方误差。均方误差结果作为b的函数如图6所示。

图 6

对于线性设定（图6上方），两个聊天机器人的误差均在b = 0.5处取得最小值，人类的误差在b = 0.6附近取得最小值。ChatGPT-4的行为在这种情况下表现出最小的误差，而人类的行为是最多样的，表现出最高的误差，并且在b = 0.5时是三者中预测效果最差的。估计的b值在不同的游戏中有所不同，在最后通牒游戏中最优的是自私的(b = 1.0)，而在其他的游戏中则集中在b = 0.5附近。

线性设定并不能完全反映相对收益的偏好，例如，当b = 0.5时，如何分配总收益是无关紧要的。相反，如果一个工作具有固定替代弹性(Constant elasticity of substitution, CES)的效用函数形式：

图灵测试视角下大模型聊天机器人与人类行为比较分析

正文

请到「今天看啥」查看全文