清华成果落地，领跑国产AI大模型！

1998年

来自湖北的张鹏

考入 清华大学计算机系

通过深度参与实验室课题项目

他很快找到了自己的研究方向

“文本数据挖掘和语义分析”

爬山时的张鹏

在校期间

他先后 发表10余篇顶会文章

设计了 国内首个

中英文平衡的跨语言知识图谱系统

毕业后张鹏选择加入

清华大学计算机系知识工程实验室

继续探索前沿科技

2006 年起

实验室开始研究大数据挖掘与知识图谱

孵化了

科技情报大数据挖掘与服务系统平台

—— AMiner系统

随着系统的不断成熟

团队开始考虑商业化

在2019年6月将AMiner单独拆分出来

成立新公司“智谱”

2020年，Open AI发布

参数规模达1750亿的GPT-3模型

吸引世界关注

在国外人工智能产品的冲击下

“中国要有自己的预训练模型框架”

成为一种共识

张鹏参加中国计算机大会

GPT、BERT、T5

都是西方科学家提出的底层技术

沿着已有路径走无疑最省力

然而

“核心的技术是求不来也买不来的”

作为清华人

要为国家、民族和社会做点事情

想要掌握前沿领域的先进技术

有些围墙必须越过

张鹏和团队成员走上了

艰难但可靠的自主研发道路

在大语言模型（LLM）浪潮中

团队惊喜地发现

自研的预训练框架——GLM

对人类输入意图 以及一些常识

或者知识类信息理解能力

有着意想不到的表现

打破国外垄断

实现“弯道超车”有了希望

团队当即决定

投身到GLM预训练框架研发中

训练成本高、人力投入大、过程不稳定

面对行业公认的难题

张鹏认为

“虽然局面复杂困难

但我们想做一些自己的事情”

通过不断对算法优化、量化

在保证精度和推理速度情况下

1300亿参数规模的双语预训练模型

GLM-130B

最终运行成本降低75%

同时

坚持自主研究

还带来 适配国产化硬件的优势

从源头杜绝信息泄露的可能

为国内信息安全上了一把“安全锁”

2022年11月

斯坦福大学大模型中心

对全球30个主流大模型进行全方位评测

团队研发的GLM-130B

作为 亚洲唯一入选的大模型

在鲁棒性、校准误差和无偏性方面

取得了亮眼的成绩

“在同等或更小规模上

我们能达到世界顶尖水平

甚至在某些指标上更为领先”

张鹏介绍

在清华大学计算机系

“贯天、接地、通心、树人”理念 影响下

张鹏对 “科技服务于人”

有着深刻理解

北京2022年冬奥会吸引着世界目光

冰上运动随之走入千家万户

各种专业术语

和新闻主播200余字/分钟的语速

总让手语老师“手忙脚乱”

如何更好地满足

听障朋友了解比赛需求？

此刻

正是“大模型”在社会服务方面

发挥作用的关键时刻

团队研发的手语播报数字人

通过“大模型”理解音频语义

利用语义蒸馏模型、手语翻译模型

团队将语音转化为手语

结合肌肉绑定技术驱动实现面部采集

最后

出现在北京卫视舞台上的数字人

以流畅自然的手语翻译

为千千万万听障朋友

带来高效、精准的实时解说

北京2022年冬奥会圆满结束

“翻译官”却没有“下班”

扎实的技术带来长久效应

团队研发的手语播报数字人

至今活跃在电视台、网络平台

景区与公共服务厅

持续为听障朋友们提供无障碍服务