以下为对话全文:
沈向洋:
昨晚我辗转难眠,其中一个极为关键的原因在于,我亟欲向诸位引荐这位宇宙间最卓越的首席执行官。但我心中也暗自为贵公司担忧,毕竟昨晚苹果股价上扬,而英伟达的表现却略显逊色。我已迫不及待想要知晓股市收盘的结果!今晨醒来,我第一时间询问妻子英伟达是否挺住了。你在人工智能领域领航已久,能否再谈谈对人工智能的看法,以及这项技术,或是AGI(通用人工智能)可能带来的影响?
黄仁勋:
正如你所了解的,当人工智能网络能够学习并掌握从字节、语言、图像到蛋白质序列等多种数据的理解时,一场变革性、开创性的能力便应运而生了。我们突然间拥有了能够理解单词内涵的计算机。得益于生成式AI,信息得以在不同模式间自由转换,比如从文本到图像、从蛋白质到文本、从文本到蛋白质,乃至从文本到化学品等。这一原本作为函数逼近器(Function Approximator,数学领域的重要概念,用于多个领域)及语言翻译器而存在的工具,如今所面对的问题是,我们如何能充分利用它?你见证了全球范围内创业公司如雨后春笋般涌现,它们结合了这些不同的模型与能力,展现出无限可能。
因此,我认为真正令人惊叹的突破在于,我们现在能够理解信息的真正意义。这意味着,作为数字生物学家,你能理解所观数据的含义,从而于万千数据中精准捕捉到关键信息;作为英伟达的芯片设计师、系统设计师,或是农业技术人员、气候科学家、能源领域的研究者,在探寻新材料的过程中,这无疑是开创性的壮举。
沈向洋:
如今,通用翻译器的概念已然成形,它赋予我们理解世间万物的能力。许多人都听你描述过人工智能对社会的惊人影响。那些观点深深触动了我,甚至在某些方面让我感到震撼。回顾历史,农业革命让我们生产出了更多的食物,工业革命则让我们的钢铁产量大幅提升。进入信息技术时代,信息的数量更是爆炸式增长。而今,在这个智能时代,英伟达与人工智能正携手“制造”智能。你能进一步阐述为何这项工作如此重要吗?
黄仁勋:
从计算机科学的视角来看,我们重新发明了整个堆栈。这意味着,我们过去开发软件的方式已经发生了根本性的变化。提及计算机科学,软件开发自然是不可或缺的一环,它是如何实现的,这至关重要。
以往,我们依靠手工编写软件,凭借想象力和创造力构思功能、设计算法,然后将其转化为代码,输入电脑。从Fortran到Pascal,再到C语言和C++,这些编程语言让我们得以用代码来表达创意。代码在CPU上运行得很好,我们向计算机输入数据,询问它从中发现了什么函数,通过观察我们提供的数据,计算机能够识别出其中的模式和关系。
然而,现在的情况已经有所不同,我们不再依赖于传统的代码编写方式,而是转向了机器学习和机器生成。这不再是简单的软件问题,而是涉及到了机器学习,它生成神经网络,并在GPU上进行处理。这一转变,从编码到机器学习,从CPU到GPU,标志着一个全新的时代的到来。
而且,由于GPU的功能异常强大,我们现在能够开发的软件类型堪称非凡,而在这一强大基础之上,则是人工智能的蓬勃发展。这正是其出现所带来的变革,计算机科学因此发生了巨大变化。现在,我们需要思考的是,这样的变化将如何影响我们的行业?我们都在竞相利用机器学习去探索新的人工智能领域。那么,究竟什么是人工智能呢?这其实是一个大家耳熟能详的概念,即认知自动化和解决问题自动化。解决问题的自动化可以归结为三个核心概念:观察并感知环境,理解并推理环境,然后提出并执行计划。
例如,在自动驾驶汽车中,车辆可以感知周围环境,推理自身及周围车辆的位置,最后规划出行驶路线。这其实就是一种数字司机的表现形式。同样地,在医疗领域,我们可以观察CT扫描图像,理解并推理出图像中的信息,如果发现异常,可能代表着肿瘤的存在,然后我们可以标记出来并告知放射科医生。此时,我们就扮演了数字放射科医生的角色。
在我们所做的几乎每一件事情中,都可以找到与人工智能相关的应用,它们能够出色地完成特定的任务。
如果我们拥有足够多的数字智能体,并且这些智能体能够与产生这些数字信息的计算机进行交互,那么这就构成了数字人工智能。然而,目前我们所有人对数据中心的总体消耗,虽然看似庞大,但数据中心主要是在生产一种名为“Token”的东西,而并非真正的数字智能。
我可以解释一下这两者之间的区别。300年前,通用电气公司和西屋电气公司发明了一种新型仪器——发电机,并最终演化为交流发电机。他们非常明智地创造了一种“消费者”来消费他们所生产的电力,这些“消费者”包括灯泡、烤面包机等电器设备。当然,他们还创造了各种各样的数码设备或电器,这些设备都需要消耗电力。
现在,来看看我们正在做的事情。我们正在创建Copilots、ChatGPT等智能工具,这些都是我们创造出的不同类型的智能“消费者”,它们实际上就像灯泡和烤面包机一样,是消耗能量的设备。但想象一下,那些令人惊叹的、我们所有人都会使用的智能设备,它们将连接到一个新的工厂。这个工厂曾经是交流电发电厂,但现在,新的工厂将是数字智能工厂。
从工业的角度来看,我们实际上正在创造一个新的产业,这个产业在吸收能量并产生数字智能,而这些数字智能可以被应用于各种不同的场景。我们相信,这个数字智能产业的消耗量将是巨大的,而这个行业在以前是不存在的,就像交流电发电行业在以前也不存在一样。
沈向洋:
你为我们勾勒了一幅充满希望的光明未来,而这在很大程度上得益于你和英伟达在过去十多年间对该领域的卓越贡献。摩尔定律在业界一直备受瞩目,而近年来,“黄氏定律”逐渐为人们所熟悉。在早期的计算机行业中,英特尔提出的摩尔定律曾预言计算能力每18个月翻倍。然而,在过去10到12年间,特别是在你的引领下,计算能力的增长速度甚至超越了这一预测,实现了每年翻倍甚至更高速度的增长。
从消费端观察,大语言模型在过去12年里的计算需求每年都以四倍以上的速度激增。若以此速度持续10年,计算需求的增长将是一个惊人的数字——高达100万倍。这也正是我向他人阐释英伟达股价在过去10年间上涨300倍原因时的重要论据。考虑到计算需求的这一巨大增长,英伟达的股价或许并不显得高昂。那么,当你运用你的“水晶球”预测未来时,你认为在接下来的10年里,我们是否还会见证计算需求再次实现100万倍的增长呢?
黄仁勋:
摩尔定律依赖于两个核心概念:一是超大规模集成电路(VLSI)的设计原理,它是受到我、加州理工大学的卡弗·米德教授(Carver Mead)以及林恩·康威教授 (Lynn Conway )的著作启发的,这些著作激励了整整一代人;二是随着晶体管尺寸的不断缩小,我们得以每隔一段时间就将半导体的性能提升一倍,大约每一年半就能实现一次性能翻倍,因此每五年性能提升可达10倍,每十年更是能提升100倍。
我们正身处一个趋势之中:神经网络的规模越大,用于训练的数据量越多,AI似乎就表现得越智能。这一经验法则与摩尔定律有着异曲同工之妙,我们不妨称之为“规模定律(Scaling Law)”,且这一定律似乎仍在持续发挥作用。然而,我们也清醒地认识到,仅仅依靠预训练——即利用全球范围内的海量数据自动挖掘知识——是远远不够的。正如大学毕业是一个至关重要的里程碑,但它绝不是终点。接下来,还有后训练阶段,也就是深入钻研某一特定技能,这要求强化学习、人类反馈、AI反馈、合成数据生成以及多路径学习等多种技巧的综合运用。简而言之,后训练就是选定一个特定领域,并致力于对其进行深度钻研。这就像当我们步入职业生涯后,会进行大量的专业学习和实践。
而在这之后,我们最终会迎来所谓的“思考”阶段,也就是所谓的测试时间计算。有些事情你一眼就能看出答案,而有些则需要我们将其拆解成多个步骤,并从第一性原理出发,逐一寻找解决方案。这可能需要我们进行多次迭代,模拟各种可能的结果,因为并非所有答案都是可预测的。因此,我们称之为思考,且思考的时间越长,答案的质量往往越高。而大量的计算资源将助力我们产出更高质量的答案。
虽然今天的答案已是我们所能提供的最佳结果,但我们仍在寻求一个临界点,即所得到的答案不再局限于我们当前所能提供的最佳水平。在这一点上,你需要判断答案是否真实可靠、是否有意义且明智。我们必须达到这样一个境界,即所得到的答案在很大程度上是值得信赖的。我认为,这还需要数年的时间才能实现。
与此同时,我们仍需不断提升计算能力。正如你之前所提到的,过去十年里,我们将计算性能提升了100万倍。而英伟达的贡献在于,我们将计算的边际成本降低了同样的幅度。想象一下,如果生活中有你所依赖的事物,如电力或其他任何选择,当它的成本降低了100万倍时,你的行为习惯将会发生根本性的变化。
对于计算,我们的看法也已经发生了翻天覆地的变化,而这正是英伟达有史以来最伟大的成就之一。我们利用机器去学习海量的数据,这是研究人员无法单独完成的任务,而这正是机器学习能够取得成功的关键所在。
沈向洋:
我迫切希望听听你的看法,香港在当前机遇中应如何作为。现在,一个特别令人兴奋的事情是“AI for Science”,而你对此一直抱有极大的热情。香港科技大学已经投入了大量的计算基础设施和GPU资源,我们特别重视推动各院系之间的合作,如物理与计算机科学、材料科学与计算机科学、生物学与计算机科学等领域的交叉融合。你之前也深入探讨了生物学的未来。另外,值得一提的是,香港政府已决定建立第三所医学院,而香港科技大学是首个提交这个提案的高校。那么,对于校长、我本人以及整个大学而言,你有什么建议?
黄仁勋:
首先,我在2018年的超算大会上曾介绍过人工智能,但当时遭遇了诸多质疑。原因在于,那时的人工智能更像是一个“黑箱”。诚然,时至今日,它依然在一定程度上保持着“黑箱”的特性,但已比过去更加透明。
比如,你我皆为“黑箱”,但现在我们可以向AI发问:“你为何提出这样的建议?”或者“请逐步阐述你得出这一结论的过程。”通过此类提问,AI正变得愈发透明和易于解释。因为我们可以借助问题来探究其思考过程,正如教授们通过提问来洞察学生的思考过程一样。重要的不仅仅是获取答案,更在于答案的合理性以及是否基于第一性原理。这在2018年是无法做到的。
其次,AI目前尚未能从第一性原理中直接得出答案,它是通过观察数据来学习和得出结论的。因此,它并非模拟第一性原理的求解器,而是在模仿智能、模仿物理。那么,这种模仿对科学而言是否有价值呢?我认为,其价值无可估量。因为在众多科学领域,我们虽然理解第一性原理,如薛定谔方程、麦克斯韦方程等,但面对大型系统时,我们却难以模拟和理解。因此,我们无法仅凭第一性原理进行求解,这在计算上存在局限,甚至是不可能的。然而,我们可以利用AI,训练它理解这些物理原理,并借助其模拟大型系统,从而帮助我们理解这些系统。
那么,这种应用具体在哪些方面能够发挥作用呢?首先,人体生物学的尺度从纳米级开始,时间尺度则跨越纳秒至年。在如此宽广的尺度和时间跨度上,使用传统求解器是根本无法实现的。现在的问题是,我们能否利用AI来模拟人体生物学,以便更深入地理解这些极其复杂的多尺度系统?
这样,我们或许可以称之为创建了一个人体生物学的数字孪生体。这正是我们寄予厚望之处。如今,我们或许已拥有了计算机科学技术,使数字生物学家、气候科学家以及处理异常庞大复杂问题的科学家们能够首次真正理解物理系统。这是我的期望,希望在这一交叉领域能够实现这一愿景。
提及你们的医学院项目,对于香港科技大学而言,一所与众不同的医学院即将在这里诞生,尽管这所大学的传统专业领域是技术、计算机科学和人工智能。这与世界上绝大多数医学院截然不同,它们大多是在成为医学院后,再尝试引入人工智能和技术,而这通常会面临人们对其技术的怀疑和不信任。然而,你们却有机会从头开始,创建一个从一开始就与技术紧密相连的机构,并在这里推动技术的不断发展。这里的人们深知技术的局限性与潜力。我认为,这是一个千载难逢的机遇,希望你们能够紧紧抓住。