什么是大模型？

科普中国 · 公众号 · 科学 · 2025-02-08 10:30

正文

欢迎来到科普中国特别推出的寒假精品栏目“ 给孩子的高新科技课 ”！

人工智能作为当今最前沿的科技之一，正在以令人惊叹的速度改变着我们的生活。从智能语音助手到无人驾驶汽车，从 AI 绘画到机器学习，它为我们打开了一个充满无限可能的未来。本栏目将以通俗易懂的方式，用视频和文字给孩子讲述人工智能的原理、应用及其对社会的深远影响。

快跟我们一起开启这场 AI 之旅吧！

先来看视频：

以下为文字版本：

（阅读大约需要 1 分钟）

循环神经网络

生活中说的大模型一般指的是大语言模型。大语言模型的含义很好理解，就是用大量的语言文本数据训练出来的，用于理解，生成人类语言的模型。

用来训练大语言模型的数据量，以及大语言模型里的参数量都非常的大。

比如2018年，GPT-1训练的数据集中，就有大约接近10亿个单词。当时的BERT模型用到了33亿个单词训练。而在2022年，用来训练GPT-3.5的数据集超过45TB，而GPT模型内有超过1000亿个参数。

在这样大量的样本和参数下，大模型表现出了比一般模型更好的文本理解和推理能力，能够更好地理解和回答我们所提出的问题。

但因为需要使用大量的数据进行大量的计算，大模型的训练成本是非常高的。一年的训练成本折合人民币可达上千万元。因此，足够经济实力做大模型的公司还是相对比较少的。

目前，有很多公司都宣称在做自己的大模型，但实际上可能算不上真正的大模型。

策划制作

本文为科普中国-创作培育计划作品

推荐文章

果壳 · P月亮可以，P长焦就不行？这一步厂商走错了？

2 天前

果壳 · 冰美式+西梅汁=窜稀神器？？？我斗胆试了试……

2 天前

科普中国 · 什么是专家系统？

2 天前

宇宙解码 · 水真的不能被压缩吗？若强行把水一直压缩，又会发生什么？

3 天前

果壳 · 跟风入的山本裤，没想到这么好穿，上身秒变纸片人

3 天前

治愈系心理学 · 拉开人与人之间差距的，就是这两件事

8 年前

解放军报 · 点赞｜让我们一起来看“万岁军”防空部队的铸剑之道

8 年前

肌肉男训练营 · 凌晨4点健身，一天饭量9斤，巨石强森就是这么屌！

8 年前

游戏动漫君 · 追完全职高手首映不去圣地巡礼打卡，良心不会痛吗？

7 年前

美女帮 · 【美女帮私房照】甜美与性感一体~养眼清纯萌妹子图书馆写真

7 年前