供稿：
刘知远
团队
大语言模型 ChatGPT 因其高度通用化和智能化的表现受到广泛社会关注，其引发的技术革命也正逐渐延伸为一场社会革命。在此背景下，基于 ChatGPT 背后大语言模型技术的演进路线与特征，探索大语言模型技术对社会的潜在机遇与挑战，成为当下社会的重要议题。
本文首先回顾大语言模型技术发展，将其演进总结为三个发展阶段并论述关键技术特征，然后基于技术与社会互动视角分别探讨大语言模型技术引发的社会机遇：个人通用信息助理、科学研究新范式、产业基础设施、国家治理能力现代化有力工具，以及面临的潜在挑战：信息污染问题、社会权力分配问题、伦理和法制问题、意识形态安全问题。最后，本文对大语言模型技术发展及其与社会发展关系的未来展开一定思考与讨论。
1. 回顾大语言模型技术发展，将其演进总结为三个发展阶段并论述关键技术特征。
2. 基于技术与社会互动视角分别探讨大语言模型技术引发的社会机遇以及面临的潜在挑战。
3. 对大语言模型技术发展及其与社会发展关系的未来展开一定思考与讨论。
2022 年 11 月，美国著名人工智能研究实验室 OpenAI 发布基于大语言模型的聊天生成预训练转换（chat generative pre-trained transformer, ChatGPT），在知识理解、逻辑推理、人机交互等方面表现出高度通用化和智能化特征，在全世界引发广泛关注和使用：在上线后不足两个月的时间里，即获得一亿活跃用户，成为历史上用户数增长最快的面向消费者的应用。中国工程院外籍院士、微软公司创始人比尔·盖茨称其诞生的意义“不亚于互联网或个人电脑的诞生”，美国工程院院士、
SpaceX
公司创始人马斯克评价其“离强人工智能不远了”。紧随其后，
OpenAI
于 2023 年 3 月发布包括语言和图片的多模态大模型 GPT-4，被称作大语言模型的新里程碑。
可以预见，伴随技术的不断进步及相关应用生态的持续建设，ChatGPT 及其相关大语言模型技术集群将很快在不久之后从一种“技术事实”转变为“社会事实”，引发社会各领域的变革。基于此，面向 ChatGPT 背后大语言模型技术的演进范式与特性，探索其对社会的潜在机遇与挑战，是当前人工智能技术发展与社会变迁日益紧密联系时代背景下的重要命题。本文将首先梳理总结 ChatGPT 相关大语言模型技术的演进路线与特性，基于此从技术与社会互动视角探讨大语言模型技术所引发的社会机遇以及面临的挑战，以期有助于学者们加深对 ChatGPT 技术特性的认识，借此启发对 ChatGPT 潜在社会机遇和挑战的思考。
大语言模型是 ChatGPT 所依托的核心技术。在论述其技术演进路线之前，首先要明确大模型之“大”的含义。笔者认为应从两方面理解其内涵：一方面意指模型规模大，以 2017 年节点做前后对比，此前自然语言处理的语言模型参数规模大致在千万量级以下，而自 2018 年谷歌发布预训练语言模型基于变换器的双向编码器表示技术（bidirectional encoder representations from transformers, BERT）后，语言模型的参数规模均达到亿级以上。在此之后，预训练语言模型的最大参数规模每年增长数十倍，其中最著名的模型之一是 2020 年 7 月由美国
OpenAI
发布的 GPT-3，参数规模达到 1750 亿参数。另一方面，大模型之“大”意指对大数据蕴含知识的集大成学习，基于大量高性能并行计算芯片 GPU 对海量无标注数据实现自监督高效学习，所学习数据的规模从早期 BERT 中使用的 20GB 到 GPT-3 中采用的 45TB。也正是在 GPU 多机多卡算力和海量无标注文本数据的双重支持下，才实现语言模型规模与性能齐飞的局面，成为人工智能和自然语言处理领域的最新革命性突破。
在厘清大模型之“大”的内涵后，再来理解大语言模型的技术演进则显得更为清晰。大语言模型的技术演进路线整体可以分为如下三个阶段。
第一阶段以 2017 年美国谷歌公司（Google）的研究团队在名为
Attention is All Your Need
的论文中发布全新的神经网络架构 Transformer 作为开端，此架构迅速应用到整个人工智能领域，成为自然语言处理及其相关研究领域的主要方法。Transformer 通过摒弃它前任神经网络架构们的不适合 GPU 芯片并行计算的操作，极大提高了神经网络模型从大规模数据中学习的效率，直观上能够在单位时间和算力支持下阅读更多数据，直接导致了此后模型规模的迅速增长。
这里需要提及的是，从这一阶段开始，大语言模型的预训练技术即开始分割为两个主要类别，分别是以 BERT 为代表的面向语言理解的遮蔽语言模型（mask language model, MLM）和以 GPT 为代表的面向语言生成的自回归语言模型（autoregressive language model, ALM），直接影响了大语言模型第二和第三阶段的技术演进路线。
具体而言，BERT 所依托的遮蔽语言模型 MLM 的预训练方法如图 1 所示，给定一个句子如 S1，随机选择并遮蔽其中某个词如“中国”，得到训练样例 T1，其中出现“中国”的位置被遮盖标识符 [MASK] 取代了。BERT 的 MLM 任务目标就是，根据 T1 的上下文语境信息，预测被遮盖位置是哪个词，而判断预测是否准确的标准答案 A1，就是原句 S1 中的“中国”。GPT 则采用了不同的预训练方法。如图 2 所示，自回归语言模型 ALM 任务目标就是，GPT 能够像人类说话一样，根据前面已经生成的内容，不断预测和生成下一个词。值得注意的是，由给定文本提供的“标准答案”并不见得完美。以 T6 任务为例，预测“大学”是对的，预测“高校”、“高等学校”、“学府”也是对的。但是根据给定文本，只能认定 A6 “大学”是准确的，而其他预测都会认为是错误的。大模型的神奇之处就在于，虽然每个训练样例的“标准答案”不全然准确，每个样例都是不完美的“教师”，“三个臭皮匠，顶个诸葛亮”，数以亿计的不完美训练数据可以教会大模型从概率上无限逼近优秀的语言能力。
Figure 1. An example for MLM
Figure 2. An example for ALM
从 BERT 和 GPT 的预训练任务对比，可以看出两者有不同的假设。BERT 的遮蔽语言模型 MLM 假设文本已经在那里了，只是某个词被盖住了，BERT 可以同时考虑被盖住词左侧和右侧的语境信息来预测遮盖词；GPT 的自回归语言模型 ALM 则假设文本尚不存在，需要模型从左到右进行生成，所以在生成下一个词时只能考虑其左侧已生成的信息。因此，BERT 模型更适合用来做文本语义理解，进行文本分类、阅读理解等自然语言理解任务，而 GPT 模型则更适合用来做文本生成、对话系统等自然语言生成任务。同时，相比于遮蔽语言模型 MLM 每训练一条文本只预测一个词，自回归语言模型 ALM 可以对多个词进行预测，这使得在相同训练次数的条件下，自回归语言模型 ALM 比遮蔽语言模型 MLM 学习的更快，模型更易收敛，这直接导致 GPT 系列语言模型的参数规模具备更优的扩展性。
大语言模型发展的第二阶段即是以 2020 年
OpenAI
发布的 GPT-3（1750 亿参数）为开端，开启了超大规模预训练语言模型的新时代，在知识理解、语言生成、上下文学习等方面展现出惊人能力。
如表 1 所示，以英文-中文机器翻译为例，可以看到，“少次学习”任务仅提供非常少的训练样例（图例中为 3 个），“一次学习”是少次学习的极端特殊情况，即只有一个训练样例，而“零次学习”则只有任务描述，没有任何训练样例。
大语言模型在少次学习和零次学习上的能力飞跃，在 GPT 模型的发展历程中体现的淋漓尽致。GPT-3 的开发团队训练了 1.25 亿（Small）、3.5 亿（Medium）、7.6 亿（Large）、13亿（XL）、2.7B（27 亿）、6.7B（67 亿）、13B（130 亿）和175B（1750 亿）等 8 个不同参数规模的模型，并在评测基准 SuperGLUE 上验证这些模型在少次学习和零次学习上的性能变化. 随着 GPT-3 参数规模的增大（13 亿、130 亿和 1750 亿），模型的少次学习（包括一次学习）能力有着飞跃式的进步，特别是到 1750 亿时甚至具备了一定程度的零次学习能力[12]。这也是 GPT-3 作者在论文题目中强调“
Language Models are Few-Shot Learners
”（语言模型是少次学习者）的原因。
大语言模型的第三阶段则是以如今广为人知的由
OpenAI
发布的 ChatGPT 作为开端，其在具有强大性能的 GPT-3 基础模型上，引入代码训练、指令微调（instruction tuning）和基于人类反馈的强化学习（reinforcement learning from human feedback, RLHF）等技术，进一步增强大语言模型的自然交互和人类对齐能力，使其在面对常识性和推理性问题、未知领域和敏感议题时展现出显著智能化特征。在此之后，OpenAI 所发布的多模态大模型 GPT-4，支持同时以文本和图像多种模态运行，其认知和推理能力或将带来通用人工智能的再一次变革。
通过结合指令微调和来自人类反馈的强化学习两项技术，ChatGPT 在与人类用户对话交互方面展现了卓越表现。例如，在程序调试方面，ChatGPT 可以根据用户提供的程序代码片段回答错误原因或解决方法，且还会主动提问以获取更多信息并确认理解是否正确；在敏感话题方面，ChatGPT 可以根据用户提问时使用的措辞或意图判断是否应该回答。正因这种强大的认知与交互能力，ChatGPT 一经发布便迅速引起社会的广泛关注，成为通用人工智能发展历程中重要里程碑。
科学技术对社会变革具有重要的推动力量。正如伟大思想家马克思所言，“科学是一种在历史上起推动作用的、革命的力量”，新技术的诞生和应用往往对社会生产力、社会发展方向起到决定性作用。与此同时，技术的推广和使用也受到诸多社会因素的选择、推动和制约。
大语言模型技术在各任务领域展现的通用智能特征，呈现出在个人、科学、产业和国家各层面的广泛应用潜力。因此，笔者将就个人、科学、产业和国家层面分别对其催生的社会机遇展开论述。
在个人层面，大语言模型技术将催动个人通用信息助理成为现实
。在当前信息爆炸的时代，每一个网络用户面对的是海量的信息资源，即使拥有搜索引擎、社交媒体等发挥信息汇聚功能的入口，但人类自身所能阅读和处理的信息毕竟是有限的。同时，伴随人类知识水平的不断提升，对更高质和高效信息生产的渴求也日益旺盛。这些个人层面的社会需要与大语言模型强大的信息整合、信息理解和信息生产能力遥相呼应，催化大语言模型成为个人通用信息助理。
在科学研究层面，大语言模型技术可以加速推动科学研究方法新范式，提升科学生产力。
随着科学数据的爆炸式增长和复杂性的不断提高，传统科学研究方法逐渐制约科学生产力。2018 年“AI for science”概念被提出，强调 AI 拥有服务于科学知识生产的巨大潜力，开启了科学研究的新范式。
在产业层面，大语言模型技术将成为各行业的基础设施，推动产业格局变迁。
在如今科技迅速发展的背景下，科技创新成为企业发展的源动力，推动企业效能的提升。谷歌公司前 CEO 埃里克. 施密特曾提出“反摩尔定律”，意指企业如果不能追赶上科技发展的摩尔定律，收益将遵循反向的摩尔定律，并很快被社会所淘汰。
在国家层面，大语言模型技术将可成为推动国家治理能力现代化的有力工具
。伴随信息技术日益广泛渗透到社会各个领域，国家治理面向的对象和内容都越发以信息化甚至智能化的形式呈现，这要求国家治理的手段也随之不断更新和调整。其中，充分把握信息技术和智能技术发展所形成的技术优势，并将其转化为治理效能的提升则是推进国家治理能力的现代化的重要基石。
尽管大语言模型技术在各领域表现出了广泛的应用前景，但仍存在一些问题。如同以往任何一项新技术在研发至社会应用阶段所需经历的碰撞和适应过程，目前大语言模型技术在社会化落地应用过程中可以预见以下问题。
信息污染问题
。
尽管以 ChatGPT 为代表的大模型已经初具通用人工智能的能力，但现阶段仍存在一些生成信息与事实不符的现象，尤其是在涉及专业知识的领域，如法律和医疗等。就技术扩散层面而言，著名传播学者罗杰斯在其力作《创新的扩散》中曾指出，技术的“可靠性”对一项技术是否会被公众广泛接受和社会推广具有重要作用。就社会影响层面而言，这些廉价生成的失实和有害信息一旦被信任和广泛传播，将严重污染网络信息环境。
社会权力分配问题
。从长远来看，ChatGPT 相关技术的出现必将导致部分重复度高、目标相对确定、低创造力的工作岗位收缩或被代替。联合国贸发组织也针对此问题发表《人工智能聊天机器人 ChatGPT 如何影响工作就业》文章，谈及“与大多数影响工作场所的技术革命一样，聊天机器人有可能带来赢家和输家，并将影响蓝领和白领工人”。大语言模型技术在社会化应用过程中所导致的社会权力和分工调整以及可能引发的潜在社会矛盾，仍然是需要前瞻性思考和妥善解决的重要问题。
伦理和法制问题
。大语言模型作为具有强大内容学习和生产能力的新技术实体，不同于在既有法律和道德约束下的人类，其生成内容在使用过程中将面临知识产权、隐私、学术诚信、侵权责任认定等一系列伦理和法制隐患。
