2022年11月30日，OpenAI发布了对话式通用人工智能服务ChatGPT。仅推出5天，用户数就超过100万；上线两个月后，用户数突破1亿，成为AI界的顶流。ChatGPT能遵循人类指令完成各种认知型任务，包括交互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等，并且展现出了和人类近似的水平。2023年3月15日，GPT-4发布，在知识推理以及逻辑运算方面有大幅提升，还支持多模态输入，进一步扩展了应用场景。

1.超大规模参数的预训练语言模型

为了使模型具备通用的能力，必须学习到世界知识，这要求模型具有足够大的参数量来存储海量的世界知识。GPT-3.5的模型参数已经达到1750亿的规模。随着模型参数量的扩大，语言模型还出现能力涌现的现象，例如上下文学习（In-context Learning），以及思维链（Chain Of Thought）等推理能力。

2. 多任务的自然语言预训练模型

自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等，之前的学术研究都在特定的任务下进行针对性的算法设计，迁移性差。而ChatGPT采用了多任务预训练的方式，不同任务共享模型参数。这使得模型具有通用能力，下游任务不再需要微调，直接通过提示学习或者零样本学习就具有很强的性能。

3. 基于人工反馈机制的强化学习

OpenAI通过引入指令微调以及基于强化学习的微调技术，提升模型和人类的价值观对齐。 具体来看，指令微调技术使语言模型得以支持用户以人类惯常的沟通方式，与模型进行互动并推动模型能力的提升。 同时，通过人工反馈和标注数据，借助强化学习进行微调，从而确保模型具备正确的价值观。

在应用上 ， 语言大模型构建了“多场景、低门槛、高效率”的共创应用新模式，具有丰富的应用场景，在医疗、教育、零售、媒体等行业完成产品落地应用。根据全球管理咨询公司麦肯锡（McKinsey）的报告，生成式人工智能的新兴主导地位为新一轮经济革命奠定了基础，估算每年能为全球经济增加 4.4 万亿美元收入。