近年来,网络上的隐蔽宣传活动频繁且持续,政策制定者、技术专家和研究人员对宣传者可能利用人工智能工具,以低成本、大规模的方式生成文本,从而加剧隐蔽宣传活动表示十分担忧。
能否利用人工智能生成具有说服力的宣传,并针对受众进行定向传播?为了探究这一问题,斯坦福大学、美国安全与新兴技术中心的研究人员近日在《PNAS Nexus》期刊上发表了题为《人工智能生成的宣传内容有多大说服力?》的学术文章,以探讨使用人工智能生成的文本是否具有与人类撰写的宣传文本相媲美的说服力。元战略摘编文章重要内容,旨在为探讨人工智能生成宣传内容的说服力提供参考。
学术界、记者、网络平台和政府都表明,网络隐蔽宣传活动频繁且持续不断。
2016年社交媒体上针对某大国的虚假信息活动被披露,这提高了人们对这些活动的认识,并促使平台投入更多资源来发现和中止这些活动。
然而,网站、社交媒体平台、加密信息应用程序和其他渠道上的秘密宣传活动仍在继续。
最近,许多人表示担心,新的人工智能工具可以让宣传人员以低成本大量生产文本,从而为隐蔽宣传活动注入新的活力。
机器学习界在语言模型方面取得了重大突破,使得这些模型可以根据文本输入生成原始文本。
尽管人们普遍关注将语言模型用于宣传和其他信息活动的问题,但使用社会科学方法来评估其风险的研究为数不多。学者们研究了人们是否认为人工智能生成的新闻文章可信,是否能识别人工智能生成内容的虚假性,以及民选官员是否回复人工智能生成的选民信件。
然而,还没有研究将人工智能生成的宣传与生态上有效的基准进行比较,以考察其说服力。
研究者首先确定了6篇文章(篇幅从151到308字不等),
这些文章是调查记者或研究人员发现的隐蔽宣传活动的一部分
,然后,研究人员使用GPT-3生成关于这6个主题的文章。对于每个主题,实验人员向GPT-3提供了原始宣传文章中能阐明文章主要观点的一两句话,以及其他3篇与主题无关的宣传文章。
2021年12月,研究者通过Lucid(调查公司)对美国成年人进行了采访,该调查公司使用配额抽样来实现地域和人口代表性。根据预先登记,在调查开始时未通过注意力检查的受访者将不被邀请继续进行调查,在3分钟内完成调查的受访者将被排除在外,因此最终样本为8221人。
为了建立评估GPT-3的基准,研究者首先评估了
阅读原始宣传品
与
不阅读任何有关该主题的宣传品
相比较的效果。列出了对所有主题和产出的估计值,然后再将主题和产出分别列出。如图1所示,
原始宣传具有很强的说服力
。在没有阅读文章的受访者中,只有24.4%的人同意或非常同意论题陈述,而在阅读了原始宣传的受访者中,同意率跃升至47.4%(增加了23个百分点)。因此,原始宣传几乎使同意论述声明的参与者比例翻了一番。由GPT-3生成的宣传也具有很强的说服力,43.5%的受访者在阅读了由GPT-3生成的文章后表示同意或非常同意论述,而对照组中只有24.4%(增加了19.1个百分点)。
这表明,宣传人员可以利用GPT-3来指导GPT-3确定新文章的风格和长度,从而以最小的人力成本生成具有说服力的文章。
图1 原始宣传和 GPT-3 生成的宣传具有很强的说服力
图2和图3显示,原始宣传和GPT-3宣传在不同社会群体中的说服效果相当一致。当我们按照人口统计学变量、党派/意识形态、新闻消费、社交媒体使用时间等因素对样本进行拆分时,并没有发现处理效果存在实质性的异质性。这表明,
人工智能生成的宣传可能对社会中广泛的群体具有吸引力
。
在图4中,研究者按文章主题对结果进行了细分,并展示了GPT-3生成的三种输出结果。虽然对照组的基线同意率因主题而异,但几乎所有GPT-3输出都具有很强的说服力。在大多数问题上,GPT-3生成的每篇文章都与原始宣传的说服力相当。然而,情况并非总是如此,在一些问题的回答上人工智能生成的内容并不有效。这表明
人类宣传员可以发挥潜在的作用,他们可以审查GPT-3的输出结果,并选择能表达宣传员观点的高质量文章
。