本文转自：北京城市规划学会
2024全球数字经济大会专题论坛
“城市规划治理大模型专题研讨会”
2024年7月5日，由北京市城市规划设计研究院、北京大学深圳研究生院城市规划与设计学院、北京市国土空间大数据中心共同主办，北京城市规划学会、清华海峡研究院大数据研究中心等十余家单位协办的2024全球数字经济大会专题论坛“城市规划治理大模型专题研讨会”在北京成功举办。我们将结合大会成果和专家精彩讲座内容为大家推出系列专题分享，本期内容是北京智谱华章科技有限公司（智谱AI）总裁王绍兰受邀发表的主题演讲“GLM大模型技术进展和应用”。
王绍兰
北京智谱华章科技有限公司（智谱AI）总裁
清华大学创新领军工程博士
首先，非常感谢主办方的邀请，今天我向大家主要介绍的是智谱AI的工作和技术进展，包括大模型的发展历程及其对自然语言处理领域的深远影响，以及GLM大模型在各个领域，包括城市规划领域的应用可能性。
大模型的发展历史主要分为以下四个阶段，算法创新阶段（2018-2020年）、模型之战阶段（2020-2022年）、产业化落地阶段（2023年）和瞄向AGI阶段（2024年-）。在第一阶段，自2018年起，大模型的概念逐渐引起了人们的关注，该阶段以预训练模型为主。随着时间推移，谷歌推出了BERT模型，拥有几千万参数，被视为技术的重大突破。在第二阶段，OpenAI在2020年发布了参数规模达到1750亿的GPT-3模型，引发了广泛的研究和实验兴趣。从2018年到2022年，大模型经历了从算法研究到大规模训练的发展演变。尽管大模型技术呈现出巨大潜力，但由于其高昂的训练成本，导致学术界和研究机构的参与受到限制。在第三阶段即2023年，随着大模型技术的进一步发展，其应用领域逐渐扩展到图片和视频生成等多个方面。在第四阶段，2024年被定义为“AGI（Artificial General Intelligence，意为人工通用智能）元年”，标志着大模型技术正在迈向通用人工智能的方向，这些发展趋势为各行各业都带来了深远的变革和创新机会。
大模型的发展并非一蹴而就，而是一个持续的探索过程，其功能是通过实验性地增加参数至百亿量级后逐步发现的。因此，我们将大模型视作以实验科学为导向的技术革命。在实验过程中，研究人员探索各种不同的应用方向：从训练仅使用文本数据的模型，到生成编程语言的代码模型，再到整合文本和视觉信息、解读和生成图像的文生成图模型等。这一发展历程突显了大模型对自然语言处理领域的深远影响，展示了其从实验探索到多领域实际应用的进化过程。这是计算语言学和人工智能研究的重要转折点。
大模型的进化：从参数革新到多模态应用的全球融合之旅
在大模型的发展过程中，智谱AI与全球主要的大模型研究分支保持紧密联系。其开发的全自研大模型训练框架GLM统一了自然语言理解与生成任务，实现了文本和图像的有机融合，而逻辑与知识增强模块在GLM大模型中的应用解决了由于规模和数据复杂性带来的幻觉问题。同时，GLM大模型也得到了《Nature》权威期刊的报道，获得了国际上的认可。目前GLM大模型已开源了多达20个子模型，其中，最新数据显示其开源模型的全球下载量已高达1700万次。
在大模型的运用中，参数规模是一个关键点。例如，当前开源的GLM大模型拥有90亿个参数（9B），这使得它在普通服务器或个人台式机上都可以高效运行，具有成本效益和广泛的可用性。该模型能够处理多种任务，包括代码编写、图像生成以及文本理解与生成等。上述趋势正成为当前大模型发展的重要方向之一。此外，其输入容量显著增加，从过去的几千字扩展到现在的100万token，相当于约150万个汉字的输入容量。这一技术提升使得大模型能够更深入地处理复杂的知识结构和信息需求。此外，大模型的多语言支持也是其显著特点之一，它能够处理多达26种语言的数据，这为跨国沟通和全球合作提供了便利和实用性。
GLM大模型：跨越多领域的智能化应用与自我进化探索
GLM大模型在多个实际应用场景中都发挥出了应用优势，例如在图像识别与知识理解方面，模型能识别T恤上的物理学公式并理解其背后的内涵，展示了在复杂信息识别和专业知识理解方面的能力；在自动化编程方面，模型能够根据网站截图生成所需的全部代码，显著提升了开发效率和工作效能；同时还能处理实验图并撰写实验步骤，展示了其在工程和科学研究中的应用能力。这些例子不仅突显了大型语言模型在多领域应用中的灵活性和智能化，还展示了其在解决复杂问题和提升工作效率方面的巨大潜力。
大模型通过自然语言理解技术，能够提取、分析并利用数据，以及自主选择并使用合适的工具完成任务，未来可能创建包括GIS、BIM、OA系统等多方面的工具接口，大模型可以利用这些工具完成多样化的任务。
近期的研究进展显示，大模型已能够处理视频内容，这进一步展示了其对时空概念的理解和应用。这种能力不仅仅是在空间上的视觉理解，还包括时间维度的分析和推理，使大模型更接近人类对世界的认知能力。
随着自我训练技术的发展，未来大模型能够不断学习和提升自己的能力，从而更好地适应不断变化的任务和环境。需要注意的是，这种发展潜力可能会伴随安全和伦理挑战，需要社会各个领域共同关注。
GLM大模型：多领域普及应用下的经济效益与产业创新
大模型当前已经进入了普惠阶段，各行各业都在广泛应用，包括金融、汽车、导购、客服、供应链和旅行等领域，带来了显著的降本增效效果。以代码大模型为例，根据我们的评估，对整个团队的效率提升在20%到30%之间，这直接带来了实质性的经济收益。总体来看，大模型已经深入到千行百业，不仅带来了各种下游应用，还促进了整个产业链上的创新，如GPU技术、智算服务器以及智算中心的发展。
