专栏名称: 混沌巡洋舰
混沌巡洋舰, 给您洞穿未来的视力。我们以跨界为特色, 用理工科大牛的科学思维帮你梳理世界的脉络。
目录
相关文章推荐
原理  ·  休眠的进化优势 ·  17 小时前  
科普中国  ·  云南发现中国第二种无足目两栖动物 ·  3 天前  
科普中国  ·  爆火的蔬菜汁真的健康嘛?能代替蔬菜吗? ·  4 天前  
51好读  ›  专栏  ›  混沌巡洋舰

朱纯松新书《为机器立心》前言:为机器立心,以中国之思想创世界之科技

混沌巡洋舰  · 公众号  · 科学  · 2024-12-29 12:26

正文

2022年底以来,以ChatGPT为代表的大模型进入公众视野,并引发社会广泛的关注。通用人工智能已经超越了纯粹的学术研究层面,成为国家间科技争夺的前沿焦点。

要知道2020年我刚回国时,提出要建立我国第一个通用人工智能研究院,当时还有人觉得谈通用人工智能太超前,三五十年内不可能实现,甚至认为永远不可能实现——“人类怎么可能创造比自己还聪明的机器呢?”

仅仅两三年后,当时反对通用人工智能的那些人,现在又觉得大模型就是AI。资本和流量挤进这个热门赛道,引发了国内的“百模大战”……作为人工智能领域学者,我觉得自己有责任去做一个解释说明,帮助大家去伪存真,让人们能够看到真实的通用人工智能。

大语言模型并不是通往 AGI 的桥梁

作为大语言模型领域的风向标,虽然OpenAI估值正在向2000亿美元狂奔,却难掩其骨干离职、持续烧钱、难于赢利、越发向虚的尴尬境地,人们对OpenAI的关注度正在逐渐下降。Anthropic等公司的表现也越发平平,何时赢利仍是个问题。

“OpenAI匆忙推出ol模型(一个大型、愚蠢的把戏)、有关未来OpenAI模型价格上涨的传闻、Scale AI的裁员,以及OpenAI高层的离职。这些都是事情开始走向崩溃的迹象。”美国科技界相关人士也表达了对生成式人工智能发展的担忧。

“大模型”的智能水平存在明显缺陷和性能天花板

在某种程度上,AI模型的“智能”程度取决于它所训练的数据,像ChatGPT、Google的Gemini或Meta的Llama这样的大语言模型不会达到人类的智能水平。这些大语言模型会犯非常愚蠢的错误,比如事实错误、逻辑错误、不一致等问题;它们的推理能力有限,会使用毒化的内容;它们对潜在的现实没有真正的理解,因为他们纯粹是在文本上训练的,这意味着人类知识的很大一部分是他们完全没有接触到的;而且它们没有真正规划答案。

我认为,当前社会对人工智能存在两个普遍的误区。

误区一:普遍认为难以自然习得的技能才是智能。

人们普遍认为,那些人类难以自然习得的技能才是智能,如编程或下棋等。然而,这种观点忽略了一个事实:人类天生具备或容易习得的能力,如视觉感知和语言理解,实际上才是智能的真正体现。我们之所以觉得编程或下棋复杂,是因为人类的大脑皮层中没有进化出相应的功能区来掌握这些技能,而掌握这些技能对我们的日常生活没有那么重要。相比之下,日常生活中的常用技能似乎毫不费脑,如穿衣服、使用工具等,是人类在进化过程中逐渐掌握的技能,现在我们可以自然而然地掌握这些能力,这说明这些能力对我们的生活至关重要。

误区二:过分专注于开发专门针对特定任务的算法。

当前人工智能研究领域存在一种倾向,即过分专注于开发专门针对特定任务的算法。这些算法经过大量特定数据的端到端训练后,虽然在执行它们被训练的任务上表现出色,但在面对更广泛的通用任务时,它们的表现往往不尽如人意。

首先,当前大模型的技术路线存在明显的天花板,它主要以人类产生的海量数据来进行训练。人类当前产生的数据量预估有100ZB,其中可用于模型训练的数据大约有20~30ZB。考虑到部分数据的保密性和互联网公司的封闭性,实际可用于训练的数据会更少,这预示着全球的大模型公司将很快面临无数据可用的困境。

其次,我们必须认识到,当前的算力和架构也存在天花板,对数据的利用效率不够理想。以现有的数据、架构和训练方式来评估,在数据枯竭之前,大模型的智能水平也不会达到通用人工智能的水平。尽管GPT等大模型能够“看遍”天下所有的文字,但它们所掌握的也仅仅是基于统计分析的“书本智慧”。然而,那些不识字的人群具有的“街头智慧”,即对物理世界和社会常识的理解,才是人工智能系统获得广泛应用和人类信任的关键。以无人驾驶技术的发展为例,在过去十多年里,尽管已在实际环境中进行了数亿千米的测试,但无人驾驶技术距离真正的商业化应用仍然有很长的路要走,这是技术发展遭遇瓶颈的一个典型案例。而人类只需练习足够时间就能学会开车,应付各种路况。我认为,与其追求在特定复杂任务上打败人类,不如转换思路,重新审视并回归到人类这一通用智能体的根基。我们应该不局限于“书本智慧”,走向“街头智慧”,这才是人工智能发展的主要方向。

安全与对齐存在风险

人工智能对齐(AI Alignment)旨在使人工智能系统的行为与人类的意图和价值观相一致。如果一个人工智能系统未能与人类的价值观对齐,它可能会追求与人类期望相悖的目标。随着新一轮智能化浪潮的兴起,人工智能系统的安全风险在多个领域逐渐显现,比如航天系统控制、自动驾驶汽车等应用场景。在这些领域,一旦人工智能系统失控,可能会引发严重的后果,包括人员伤亡和巨大的经济损失。因此,确保人工智能系统的决策与人类的意图和价值观相一致是至关重要的。

从人工智能安全策略的本质来看,我认为目前采取的智能体安全策略并不是一条正确的路径。当前的个体安全路径主要侧重于“堵”的策略,即在言论和行为上对聊天机器人和未来的具身智能机器人等在其行为空间施加限制。这种做法虽然可以防止人工智能体“越界”,但也显著增加了治理成本。

现有的以人类反馈强化学习(Reinforcement Learning with HumanFeedback,RLHF)为代表的对齐方法,在一定程度上缓解了模型在不同任务中表现不一致的问题。然而,这些方法在处理复杂任务和面对精细安全场景时的扩展性仍然受限。

要建立真正高效、可扩展的对齐范式,需要从两个方面着手。

首先,建立价值体系,即V系统。这是一个由价值驱动的过程,旨在为通用人工智能设定初始的价值规范。V系统的核心是确保人工智能在其运作过程中始终遵循特定的价值观和伦理标准。这涉及对价值的分类和层次化管理,参考马斯洛的需求层次理论和发展心理学的研究,将价值进行细分,以便在人工智能的决策和行为中得到体现。通过这种方式,我们可以在系统层面为人工智能奠定一个坚实的伦理和价值基础,确保其行动不仅仅是有效的,而且是符合人类社会普遍接受的道德和伦理标准的。这一价值体系的建立是确保AI在复杂多变的环境中,能够做出符合人类期待和利益的选择的关键。

其次,建立认知架构与心智模型。这涉及设计和理解人工智能的认知过程,使其能够在不同情境下进行合理的推理和决策。一个透明且可解释的认知架构能够帮助我们了解AI如何处理信息和做出决策,这对于建立信任至关重要。通过外显地表示通用人工智能的认知架构,我们可以更深入地理解其运作机制。心智模型则是人工智能系统对周围世界的内部表示,它影响着系统如何感知、解读和响应外部信息。通过不断的迭代、交流和协作,人类和人工智能可以增进彼此的理解,进而达成共识,形成“有依据的信任”(justifiedtrust)。这种信任不仅仅基于AI的能力,还在于我们对其决策过程和价值取向的理解和认可。因此,实现价值对齐的第二个维度在于构建一个透明、可解释的认知架构与心智模型,使人工智能能够在遵循既定价值体系的同时,做出理性的决策。

我认为实现安全策略时,应更多地从智能体的价值观出发,即在价值空间中规划,而非在行为空间中上锁。在现实世界中,人类社会的秩序和和谐主要依赖于个体的道德和价值观,而非仅仅依赖于空间和秩序上的烦琐约束。现有的技术路线和模型的架构设定使得大模型缺乏人类价值观,在处理复杂任务和面对精细场景时,难以完全对齐人类的意图和价值观,从而无法确保其行为的安全性。

投资与产业难以闭环

2024年10月,OpenAI在官网宣布,在最新一轮融资中筹集了66亿美元(约460亿人民币),融资后估值达到1570亿美元(超11000亿人民币)。

The Information的分析,2024年OpenAI可能仍面临高达50亿美元的亏损。这主要是由于运营成本的大幅增加,包括对英伟达GPU的大量采购和数据中心的加速建设。

AI大模型的繁荣是不可持续的,近期已有大量的分析认为,尺度定律(scaling law)在失效。GPT等大模型泡沫的破裂可能会导致成千上万的人失业,科技行业的很多领域可能会遭受重创。

综合分析这一现象,可以归结为3个主要原因:一是大模型的智能水平距离通用人工智能仍存在较大差距,二是目前的大模型缺乏可以落地的产品,三是目前的大模型生态尚未形成可持续运转的商业模式。

 第一,智能水平未达标

当前的大模型缺乏常识,不具备高级认知架构,测试环境与测试标准不统一且过于片面,这导致它们难以在现实场景中获得信任,也没有有效参与人类的各项活动。此外,当前的大模型可控性很差,使得几乎所有产品都没有实现商业化交付。

 第二,缺乏可落地的产品

尽管产业界普遍认为人工智能将带来颠覆性的创新机会,但具体的落地时间和方式仍存在不确定性。在美国,许多团队都在模仿Character AI①的商业模式和产品。国内许多大模型公司难以交付合格的商业产品,只能通过派驻团队以个性化部署的方式来完成交付,这就导致了订单越多、亏损越大的困境。

 第三,尚未形成可持续运转的商业模式

一个健全的商业模式需要生产者、消费者、资金、技术、法规和监管的共同参与。目前,大模型的商业循环主要由英伟达提供硬件算力等底层产品,OpenAI提供大模型产品,微软提供应用层产品,形成了一个类似于“英特尔+微软”的软硬件生态体系,并升级为“英伟达+微软+OpenAI"的“巨头垄断”新格局。但在实际的运作过程中,由于英伟达对AI产业的垄断性以及微软与OpenAI的特殊协议,AI产业没有完成产品服务与资金的正常流动,难以实现真正的商业闭环。

AI不再缺“心”,点亮人工智能的“中国时刻”

这两年总有人问我:“中国在人工智能发展上,距离世界领先水平还有多大的差距?”从体量来看,我国在人工智能领域取得突破是有机会的。目前,我国在人工智能领域的论文发表数量位居世界

第二,其中北京的论文发表数量在全球区域排名中位列第一这是因为我国从事人工智能行业的人,差不多有一半在北京。

从队伍组织来看,国外和国内在人工智能领域的差异就像“下围棋”和“打篮球”的区别。人工智能是一个很庞大的技术体系,需要整体布局,就像“下围棋”。反观国内,人工智能的发展总是跟风追逐某个热点,就像“打篮球”一样,“一大群人”争抢一个“热点”。眼看追到了,热点又转手了。

布局基础性课题,需要长时间毫不动摇地投入。然而现实是,每隔一段时间,新的科技热点就会出现,吸引着人们的注意力和资源。在追逐热点的过程中,队伍跑散了,宝贵的资源也被消耗了。

在追赶科技前沿的过程中,存在所谓的“上坡追赶”和“下坡追赶”。如果我们处于下坡追赶的状态,与领先者之间的差距可能会不断增大。“百模大战”是我们近距离观察到的新一轮追逐现象。设想一下,在不久的未来,如果美国推出了一款与现有大模型截然不同的现象级产品,我们又该如何应对呢?

现在国家提出,要充分发挥新型举国体制优势,全面提升自主创新能力;强化基础研究系统布局,长期稳定支持一批创新基地、优势团队和重点方向,增强原始创新能力。但是,应该怎样形成有组织的科研力量,这是一个需要所有人一起思考的问题。

教育部在2018年就曾提出“破五唯”方针,要求克服高校在人才培养、职称晋升中所存在的“唯分数、唯升学、唯文凭、唯论文、唯帽子”的倾向。国家提倡不要“扎堆”“内卷”,但在实际过程中,大家却越来越“卷”。为什么会这样呢?其实,通过“马太效应”这样一个简单的自然现象,我们就能轻松地理解背后的逻辑。

我们的科学群体就像一个鱼群或者鸟群,当个体越来越多的时候,就会越来越“卷”。道理非常简单,假设你是一名科研工作者,专注于非主流的研究领域,你的处境就如同一条游离于鱼群之外的鱼,你会发现你说的话(研究方向)大家都听不懂,这就导致你的文章很容易被同行评审拒绝,你的项目申请书也会遭到否定,你的研究事业将难以为继。于是,你不得不回到“内卷”的队伍(主流的研究方向)中,并试图向中心靠拢。因为在这个群体中,大家说的都是同样的语言(研究的是相似的课题),只有在群体的中心,才会有更多的人欣赏你。

我国很多科研工作者、决策者在选择研究方向时,都主动或者被动地遵从了这样的思维模式:“美国能做出来的东西我们一定要做出来,不惜一切代价也要做出来。美国没有做出来的东西,我们去做又有什么意义?”如果科研选择完全基于这样的逻辑,那么中国的原始创新又将从何谈起?

回答人工智能的“中国之问”,就是要做原创的、引领性的科研工作,构建一个有组织的科研模式,打造一个人工智能创新策源地。这也是我们的任务。

2020年归国后,我牵头建立了北京通用人工智能研究院(简称“通研院”),专注于通用人工智能的研究。通研院位于北京大学西南门外,与北京大学仅隔一条斑马线。我们提出的口号是:为机器立心,为人文赋理,以中国之思想,创世界之科技。我们的目标是追寻通用人工智能的大一统理论,以“小数据、大任务”的技术范式,打造价值驱动的通用智能体。

我们正在打造第一个通用人工智能小女孩“通通”,她能够在物理逼真的复杂动态场景中完成很多儿童日常生活中的任务。我们还致力于搭建通用人工智能操作系统和编程语言。

我们获批了通用人工智能全国重点实验室,改革了北京大学的人工智能课程体系,设立了通用人工智能本科生实验班(简称“通班”),吸引了全国最优秀的一批学子进入最前沿的课题。

在国家教育部的支持下,我们发起了通用人工智能协同攻关合作体人才培养计划(简称“通计划”),联合9所顶尖大学,包括中国科学技术大学、上海交通大学、浙江大学等,每年招募130名研究通用人工智能领域的博士生进行联合培养。

在通用人工智能还没有“火”起来的时候,我们就开始在通用人工智能领域进行教育、科技、人才一体化的布局,将新型研发机构、高校、全国重点实验室、央企国企、产教融合平台等链接起来,将人才链和技术链与实际应用场景相结合,打造出一个从原始创新到集成创新、开放创新的生态体系。我们希望能够为中国建设具有全球影响力的人工智能创新策源地和国际科技创新中心贡献一份力量。

总的来说,我们必须要有原创性的技术路线,构建新型的组织架构,踏踏实实地培养一支实力雄厚的团队,敢于跳出“内卷”竞争,以原创性、引领性科技创新来回答人工智能的中国之问。

2017年,公众对“人工智能”这一概念的理解受到一些思想和舆论的混淆。我写下了《浅谈人工智能:现状、任务、构架与统一》一文,为人工智能的概念正本清源。如今,也是时候有人站出来,为“通用人工智能”正本清源了!

基于30年来学术探索和跨学科研究的经历、观察和思辨,我将在本书中浅谈什么是通用人工智能、如何认清智能的本质、为人工智能六大核心领域找到统一理论与认知架构,进而为机器立“心”、迈向通用人工智能。

[作者观点]

1.长期以来,我们所采用的“打篮球”式追逐策略导致了固有的评价体系和激励机制,这并不利于进行原始创新。

2.一个统一的人工智能架构将推动人工智能从主要解决单一任务的“专项”人工智能向能够解决广泛任务、自主定义任务的通用人工智能转变。

3.实现从大数据到大任务、从感知到认知的飞跃,这是智能学科需要承担的核心使命。

4.我们要走出一条属于中国自己的路,一条底层逻辑自主可控的创新之路,以中国优秀的哲学思想,指导人工智能的前沿探索。

[金句]

1.以“小数据、大任务”的技术范式,打造价值驱动的通用智能体。

2.无限任务、自主生成任务、价值驱动与对齐,是通智测试的3个致胜“法宝”。

3.机器人与人类共生共存,就bi须理解并适应人类的社会道德和伦理规范。

4.人工智能的研究需要由“理”向“心”转变,从统计模型转向价值模型。

前言 为机器立心,以中国之思想创世界之科技

引言 数据驱动的人工智能:探源、局限与出路

难题:直面人工智能的中国之问

探源:大数据驱动的人工智能

创新:突破数据统计的局限

出路:探索数据背后的因果与价值

新标:全球首个AGI评级测试标准

回到人工智能的中国之问

第一部分 厘清通用人工智能的3大关键谜思

01 ChatGPT等大模型无异于缸中之脑

大模型与缸中之脑

是真的掌握了概念,还是仅仅形成了“隐藏记忆”

为什么大模型不是AGI

02 不是鹦鹉,而是乌鸦

未来目标:一只乌鸦给我们的启示

人工智能研究的认知架构:小数据,大范式

计算机视觉:从“深”到“暗”

认知推理:走进内心世界

语言通信:沟通的认知基础

多智能体:获取、共享人类的价值观

机器人学:构建大任务平台

机器学习:学习的极限和停机问题

03 理(U体系)与心(V体系)的对立与统一

智能:各种现象

智能的演化:“生命度”逐渐增强

智能的3个哲学阶段

V空间,人类具备先天的价值判断

U空间,智能体掌握的知识与技能

补充“心”与“理”体系中缺失的部分

第二部分   1238迈向通用人工智能的路线图

04一个框架,两个系统完备性,三个基本特征

一个大一统理论框架,让AI眼里有活

两个系统完备性,让AI的脑袋不缺弦

三个基本特征,让AI能完成自主任务

05 八个关键问题,让AI具备三观

关键问题1:认知架构,机器与人如何“志同道合”

关键问题2:自我意识能否从智能体中涌现

关键问题3:如何让人工智能具备高水平的社会智能

关键问题4:价值驱动是模型进化的“刚需”

关键问题5:让机器人学会人类的价值函数

关键问题6:具身智能,知行合一

关键问题7:可解释性是“信任”的前提

关键问题8:价值对齐让人机互信

06  “四通八达”通用人工智能的蓝本

通通:全球首个通用智能人

通界:通用人工智能大任务仿真平台

通智测试:通用人工智能评级标准与测试平台

通境:通用人工智能科研平台

八达:联合产业创新,共建产业智能体

结语 人工智能时代,“心”与“理”的统一之辩

附录 评级测试:通用人工智能的能力和价值层级划分

致谢