PNAS: GPT是用于多语言心理文本分析的有效工具

唧唧堂 · 公众号 · · 2024-10-17 19:18

正文

本期推荐一篇最新发表在PNS上的论文《GPT是用于多语言心理文本分析的有效工具》。随着社交媒体等平台上文本数据的爆炸式增长，社会和行为科学领域对自动化文本分析的需求不断增加。传统的文本分析方法主要有两类：字典方法和机器学习模型。字典方法通过统计特定类别词汇的出现频率来分析情感等心理结构，虽然易于使用，但准确性往往不高，特别是难以捕捉句子的上下文含义。而机器学习模型虽然更准确，但通常需要大量标注数据和专业的技术支持，尤其在多语言环境下效果有限。因此，如何有效地进行多语言文本分析成为了一个重要的研究课题。

该研究旨在通过实验验证GPT在多语言情感、情绪、冒犯性及道德基础分析中的表现，尤其是与现有的字典方法和机器学习模型进行对比。研究者希望证明GPT不仅可以在英语中表现优异，还可以在多种语言中有效处理心理文本分析任务。值得注意的是，论文特别关注一些较少使用的语言，如斯瓦希里语和阿姆哈拉语等非洲语言，这为全球范围内的心理学研究开辟了新的方向。

论文使用了15个数据集，共计47,925条文本数据，这些数据分别被手动标注为多种心理结构。所使用的语言涵盖了12种，包括英语、阿拉伯语、印尼语和八种非洲语言。GPT的不同版本（如GPT-3.5、GPT-4和GPT-4 Turbo）通过API调用，研究者设计了简洁的提示词，如“该文本情感是正面、负面还是中立？”来测试其分析能力。通过与人工标注结果进行比对，研究使用了准确率和F1分数等指标来衡量GPT的表现。此外，研究还测试了GPT的零样本学习能力，即在不需要额外训练数据的情况下进行文本分析，进一步证明了GPT的易用性和高效性。

研究结果显示，GPT在大多数任务中超过了传统字典方法，且在多语言文本分析中表现优异。尤其是在处理较少使用的语言时，GPT的表现得到了显著改善。虽然在某些复杂任务上，GPT的表现仍不如精调的机器学习模型，但它的灵活性和广泛的应用场景使其成为跨文化、跨语言研究中的重要工具。研究认为，GPT作为一种强大的多语言文本分析工具，可以大大推动心理学、社会学等领域的跨文化研究发展。

论文原文：

PNAS, Vol. 121 no. 34

GPT is an effective tool for multilingual psychological text analysis

Steve Rathje, Dan-Mircea Mirea, Ilia Sucholutsky

唧唧堂学院推荐订阅

以下专栏及课程，安卓手机用户可通过下方小程序链接订阅，苹果手机用户请通过文末“阅读原文”链接访问唧唧堂学院H5页面订阅。

论文导读