模型加 ‘塑’ ，生成万物。‘质’由新生，无远弗界。时代机遇，世界同享。
人类命运，全球并肩，以发展共创先机。坚持公平普惠，开放包容，增进共同福祉。以安全共管风险、坚持安全可控、发展安全并重。以治理供给未来、坚持伦理先行、和平利用、以共商促共享、以善治促善智。2024世界人工智能大会暨人工智能全球治理高级别会议：
主持人
：尊敬的各位领导、各位来宾、女士们、先生们，大家上午好。欢迎各位来到2024世界人工智能大会暨人工智能全球治理高级别会议全体会议的现场。我是上海广播电视台第一财经的主持人黄伟。本届大会的主题是以共商促共享，以善治促善治。当前，人工智能全球治理已经成为世界各国共同面临的重大课题，急需通过对话与合作凝聚共识，管控风险，推动人工智能朝着科技向善的方向发展。
今天在我们全体大会的一开始，首先邀请到的第一位嘉宾是我们WAIC的老朋友。他一直在不懈地推动全球人工智能的智力发展。接下来让我们用热烈的掌声有请清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长薛澜先生，带来他最新的见解。
第一场演讲：以善治促善智——让人工智能治理为人工智能发展护航
演讲嘉宾 | 清华大学人工智能国际治理研究院院长薛澜
大家上午好，非常高兴有机会今天跟大家分享关于人工智能治理的一些想法。我想从三个方面与大家交流。首先是人工智能未来带来的收益和可能的风险。其次是中国在人工智能治理方面的实践及启示。最后是人工智能的国际治理问题。
首先，人工智能的发展可以为我们带来广泛的收益，应用领域非常广泛。从宏观角度看，人工智能能够为我们做什么？2015年，全世界193个国家在联合国共同签署了人类可持续发展目标（SDG），希望到2030年推动人类社会更好地发展。这些目标涉及到17个领域，共有169个具体指标。最近有研究分析了人工智能对SDG可能带来的影响，发现人工智能会对169个指标中的134个产生积极的促进作用，但也可能对其中的59个产生不利影响。总的来看，人工智能具有巨大的潜力，但也带来了潜在的风险。
这些风险包括技术内在的问题，如幻觉和自主人工智能系统可能对人类社会的危险；基于技术开发的风险，如数据安全、算法歧视、能源环境等问题；技术应用中的误用或滥用，可能对社会就业等方面带来的影响。为了推动人工智能的健康发展，我们需要尽可能地放大其收益，同时降低风险。
中国在过去几年的实践中，建立了一个相对完整的治理体系。在产业应用方面，有一系列的法律法规推动人工智能的发展，同时针对算法、算力和数据，有相应的治理规则。2019年发布了中国人工智能治理准则，同时出台了具体场景的治理规则，构建了一个多维度、多层次、多领域的治理体系。我们还特别强调要让社会对人工智能有更好的了解，提升全民数字素养与技能。
从全球角度来看，人工智能的发展面临很多挑战。存在基础设施鸿沟、数字素养鸿沟、人工智能发展鸿沟和智力鸿沟。这些鸿沟阻碍全球发展，对全球治理带来很大影响。解决这些问题需要国际社会共同努力。
我们需要通过多途径建立国际交流和防控体系，加强政府间的多边对话机制，借助科学共同体的力量完善国际机制。联合国等国际组织应该起到综合协调作用，推动人工智能的健康发展，为人类和平与发展做出贡献。谢谢大家。
以上为此次会议的背景介绍和嘉宾演讲实录，展示了全球人工智能治理的重要议题和不同视角下的深刻见解。
主持人
：谢谢，掌声再一次感谢薛澜教授，感谢他今天的现场演讲，为我们再一次指明了未来全球合作人工智能治理的重要性。再次谢谢您各位。接下来，我们要邀请的这位嘉宾是在上海辛勤耕耘并且获得斐然业绩的科学家。让我们掌声有请上海人工智能实验室主任、首席科学家，清华大学慧妍讲席教授周伯文先生，带来关于技术发展和安全治理的见解，掌声欢迎。
第二场演讲：探索人工智能45°平衡率
演讲嘉宾| 上海人工智能实验室主任、首席科学家，清华大学惠妍讲席教授周伯文先生
尊敬的各位领导，各位嘉宾，大家上午好。非常荣幸在WAIC大会上，在美丽的上海与大家分享人工智能安全的前沿技术话题。今天我想提出一个技术主张，探索人工智能的45度平衡率。
当前以大模型为代表的深层次人工智能快速发展，但也带来了一系列潜在风险。公众对AI风险的关注顺序首先是数据泄露、隐私滥用以及版权相关的内容风险。其次是恶意使用带来的伪造虚假信息等风险。当然，还有可能诱发偏见、歧视等伦理问题，以及对就业结构等社会系统性挑战的担忧，甚至是科幻电影中的AI失控，人类丧失自主权的设定。这些AI风险有的已经出现，但更多是潜在的。防范这些风险需要共同努力，需要科学社区做出更多贡献。今年5月，数百名科学家共同签署了AI风险声明，表达了对AI风险的担忧，呼吁将防御AI风险作为全球公共议题的优先事项。
这些问题的根本原因是目前AI的发展是失衡的。当前的发展趋势显示，AI的技术能力在以变压器为代表的基础模型架构下，加以大数据、大参数量和大计算量的尺度定律，呈现出指数级增长。而在AI安全维度上，典型技术如红队测试、安全标识、安全护栏与评估测量等则表现为离散化、碎片化且后置的特性。
最近的一些对齐技术兼顾了性能和安全性，比如监督式微调、人类反馈的强化学习和ROA超级对齐等。这些方法帮助将人类的偏好传递给大模型，涌现出了一些值得信赖的AI系统，如GPT-4以及我们上海人工智能实验室的书生英特尔大模型等。但这些方法虽然瞄准的是安全核心的同步提升，但实际上往往还是性能优先。所以，总体上AI模型的安全能力提升还远远落后于性能。这种失衡导致的发展是不均衡的。
不均衡的背后是两者投入上的巨大差异。从研究的体系化、算法研究人才密集度、商业驱动力和算力投入度来看，安全的投入远远落后于AI能力。目前世界上99%的算力用于模型的预训练，只有不到1%用于对齐或更多安全优先的考量。智能向善需要确保安全可控，统筹发展与安全。所以毫无疑问，我们要避免目前这种不均衡的发展，因为我们真正需要追求的是右上角的值得信赖的AGI。
可信AGI需要能够兼顾安全与性能，所以我们需要找到AI安全优先但又能保证AI能力长期发展的技术体系。我们称这种技术思想体系为AI45度平衡率。
AI45度平衡率是指从长期角度来看，我们要沿着45度安全与性能平衡发展的路径。所谓的平衡是指短期内可以有波动，但不能长期低于45度，也不能长期高于45度，否则会阻碍技术和产业的发展。AI45度平衡的技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。
实现AI45度平衡率也许有很多技术路径。我们上海人工智能实验室正在探索一条以因果为核心的路径，我们把它取名为可信AI的因果之梯，致敬因果推理的先驱、图灵奖得主 裘德亚·珀尔（Judea Pearl）。可信赖性的因果之梯将可信赖性的发展分为三个递进阶段：泛对齐、可干预、能反思。
泛对齐主要包含当前最前沿的人类偏好对齐技术。但需要注意的是，这些对齐技术目前仅依赖统计相关性，而不是真正的因果关系，可能导致错误的推理和潜在的危险。一个典型例子是巴甫洛夫的狗，当狗仅基于铃声和食物的统计相关性形成条件反射时，可能在任何时候听到铃声都会触发行为。如果这种行为涉及到转账、金融甚至国家安全相关操作时，显然带来巨大风险。
可干预是指第二层对齐技术，主要包含对AI系统进行动态干预，探究其因果技术、安全技术，包括人在回路、机械可解释性和我们最近提出的对抗演练等。它可以通过提高可解释性和泛化性来提升安全性，同时提升AI的能力。
能反思要求AI系统不仅追求高效执行任务，还能够审视自身行为的外在影响和潜在风险，从而在确保性能的同时，保证安全和道德边界不被突破。这个阶段的技术包括基于价值的训练、重视志愿者培训、因果可解释性、反事实推理等。
目前从全球来看，
AI
安全和性能技术发展主要停留在第一阶段，部分尝试第二阶段。但要真正实现AI的安全与性能平衡，我们必须完善第二阶段，并勇于迈向第三阶段。
沿着可信AI的因果之梯逐步攀升，我们相信可以构建真正的可信AGI，实现人工智能的安全与卓越性能的完美平衡。最终像可控核聚变技术一样，为全球带来清洁丰富的能源。我们希望深入理解AI的内在机理和因果过程，从而安全有效地开发和使用这种革命性技术。
正如可控核聚变对全人类都是共同利益一样，我们坚信AI的安全性也是全球性的公共福祉。如同在上海宣言中指出，这需要国际社会的共同努力和合作。我们愿意携手推进AI45度平衡发展，共享AI安全技术，加强全球AI安全人才的交流与合作，平衡AI安全与能力的投入，共同构建开放、安全、通用的人工智能创新生态和人才发展环境。谢谢大家。
主持人
：谢谢，掌声感谢周伯文教授的分享。各位来宾，接下来让我们把目光聚焦到人工智能的物理基础智能芯片领域。接下来的时间让我们有请新思科技总裁兼首席执行官盖思新先生，带来他对于产业创新和全球治理的思考。
现在，女士们先生们，请热烈欢迎新思科技总裁兼首席执行官盖思新先生。
第三场演讲：自芯片创新视角思考负责任的人工智能
谢谢。我非常荣幸受邀在这里进行发言，很高兴能够来讲一讲AI的治理。我想从商业和企业的角度来说说这个话题。首先，我们要了解AI的全链情况。AI是从半导体开始的，是从芯片开始的，它在推动这项非常了不起的颠覆性技术。同时，上面的软件也在运行，我们有针对特定市场的应用，用户通过这些应用在体验AI。考虑到AI的颠覆性能，这会影响到每一个市场，每一个市场会变得更加智能，更加连接。所以我们要在全球层面考虑整个生态系统，以及如何有责任地确保人工智能的安全防范。
从半导体的角度来看，过去60年，半导体行业花了60年时间才实现5万亿美元的销售。近年来，我们的销售额从5000亿翻倍到一万亿，几乎所有的增长都是由AI推动的。AI需要很多基础设施来训练这些模型，同时进行这些模型在每个应用上的推理，这也需要用到各种各样的设备。虽然我们在过去30到40年间见证了很多颠覆性的技术，比如个人电脑、移动设备和互联网的发明，但我们还没有见证AI的巨大转折点。
从历史上来看，半导体市场是根据芯片的性能来优化的，同时也优化芯片的能耗。在使用AI时，我们还要增加一个优化层面，包括安全和保障。那么我们公司做什么呢？我们提供软件，帮助工程师开发这些非常复杂的半导体芯片。半导体芯片是最复杂的工程任务之一，所以我们尽可能地自动化，减少复杂性。
我们使用行业软件，向工程师提供支持。AI为我们提供了加速改进芯片开发过程的机会，同时也解决了行业内专业人才短缺的问题。我们实现了快速的速度和优化的性能。在AI方面有很多共同原则，我想主要谈谈芯片层面，或者半导体层面。今天的公司具体在做些什么工作，以确保实现非常安全的半导体，最终将AI应用到实际生活场景中，并确保其安全。
我举几个例子。首先是合规和政府监管问题。确保每个芯片都知道其内部的每个部件是什么材料，以保证安全和隐私保护。确保芯片不会被不合规的元素加入，也不会有脆弱性。同时，确保监管过程高效，并考虑到半导体设计过程中能量消耗的问题。如何在设计过程中使能量消耗更高效，并进一步扩大大型数据中心的基础设施建设，是需要考虑的问题。
作为一家公司，我们也在尝试将AI应用到自己的工作流中。我们有两万多名工程师，利用AI加速工作效率。我们建立了人工智能卓越中心，教育员工了解AI的伦理、风险和价值，并更好地教育客户使用我们的模型和技术，开发更多新芯片，并不断监督和跟踪AI技能的发展。
我们2017年开始投资AI，到现在已有七年时间。我们的产品中一直包含AI，提升了效率并进一步优化芯片设计。我们也在扩展AI工作，包含深层次AI内容，比如利用生成式AI作为知识基础，提升工程师的工作效率。因为工程师数量不足，AI可以补充这一不足，提升行业表现和效率。
在耗能方面，用AI指导芯片设计可以减少30%的能量消耗，同时效率可以提高15倍。因此，从半导体行业的角度来看，我们要确保技术治理和生态系统的重要性，确保AI使用合规、有伦理、安全。
感谢大家今天花时间聆听我从半导体从业者的角度探讨如何从硅基础到AI应用层面进一步优化安全性。谢谢。
黑石集团董事长、首席执行官兼联合创始人 | 苏世民先生
索奈顾问及投资公司董事长、首席执行官 | 乔舒亚·雷默先生
主持人
：女士们、先生们，当前在人工智能不断创造商业机遇、深刻改变投资格局的同时，产生了哪些治理问题和治理机遇呢？接下来我们将进入黑石集团董事长、首席执行官兼联合创始人苏世民先生和索奈顾问及投资公司董事长、首席执行官乔舒亚·雷默先生带来的高端对话。请看大屏幕。
乔舒亚·雷默
：我想当时有十几个人引用过你的话。你说人工智能不仅改变了你运营黑石的方式，还改变了你对公司价值的认定。原来大家觉得某些公司值几十亿，而另一些公司却变得不值钱了。从商业角度看，AI对你的投资产生了什么样的影响？AI是如何改变黑石的内部监管的？AI对现有企业的价值认定有什么影响？
苏世民
：去年我提到过，有些企业在AI融合方面做得很好，而另一些企业则不太适应AI。在分析潜在投资机会时，我们总是考虑这些因素。在这个时代，年轻人很幸运，可以借助AI打造模型。当我刚进入这个行业时，根本不会做模型，也不擅长数字。现在，AI可以帮助我们做很多事情，比如会议备忘录等。这让我很惊喜。技术进展顺利，但大家要降低预期，同时保持高度警惕。
不要像鸵鸟一样把头埋在沙子里，不关心外界技术发展的风险。
技术深度发展后，一定会产生深远影响。
乔舒亚·雷默
：关于这一点，你让我牢记的一点是你思考风险的方式。你在思考风险时有哲学性和战术实践性。AI是否改变了你管理风险和在投资中对风险定价的方式？
苏世民
：投资久了胆子会小，我们有句老话：投资界的老年人胆子小。对出错保持警惕是好事。这给了我们双重视角，展示可能成功的领域，也告诉我们哪些商业领域不想触碰。因为一旦AI发展起来，可能会让你血本无归，这本来是可以避免的。
我们不像股票投资者可以直接卖股票退出，我们只有硬资产。所以看一个资产时，必须从5到10年的长期周期来看。
评估AI对企业当前业务的影响。一些企业可能会变成大赢家，也会有输家。我们希望不要成为AI技术发展后的意外输家。AI已经成为我们看待事物的重要组成部分。
乔舒亚·雷默
：说到学术环境，苏世民先生，你可能是AI领域学术研究方面最大的慈善捐赠者。你在学术界和产业界的作为有何不同？你怎么看AI在学术界的影响？
苏世民
：
我没有选
AI
，是AI选了我。
我最早资助牛津大学的AI伦理项目，因为每个人都在做理科研究时，我觉得需要将理科研究与人类情感结合考虑。这将影响未来10到20年的人类行为，必须考虑相关问题和监管影响。我对全球性的AI监管机构非常感兴趣，从事硬核技术的人需要有应有的敬畏。
乔舒亚·雷默
：您觉得未来优秀大学的AI研究应该是什么样子？现在的研究和理想的AI研究之间有何差距？
苏世民
：相比商业界，大学在竞争中处于劣势。重大突破主要出现在商界，因为企业负担得起开发所需的算力。目前的结构性变化正在发生，大学有超级聪明的人在研究，但相比商业界处于劣势。随着时间发展，需要建立更有价值的研究方式，比仅仅资助教授的研究项目更有意义。这类结构性变化能帮助大学。大部分商业基础知识最早来自大学的基础研究。如果两者有更多融合和尊重，会有更好结果。
主持人
：感谢苏世民先生和雷默先生今天的对谈，再次谢谢两位的分享。
原微软执行副总裁，美国国家工程院外籍院士 | 沈向阳先生
主持人
：接下来让我们掌声有请图灵奖得主罗杰·瑞迪先生、曼纽尔·布鲁姆先生和姚期智先生。同时有请本场话题引领人，原微软执行副总裁，美国国家工程院外籍院士沈向阳先生。掌声有请四位嘉宾。
沈向阳
：大家上午好。今天我特别荣幸能有机会与大家进行小组讨论。这三位都是我的导师级人物，我快速介绍一下。首先是94年获得图灵奖的罗杰·瑞迪先生，他拿到图灵奖时，我还是他的学生，这让我特别骄傲。第二位是曼纽尔·布卢姆教授，卡内基梅隆大学教授，1995年获得图灵奖。第三位是姚期智教授，2000年获得图灵奖。所以今天我们有机会分享一下关于AI的未来，甚至可以谈谈AI的过去。
布卢姆教授，您的职业生涯主要是在探讨计算机科学。我要告诉大家一个小秘密，"人工智能"这个词是在1956年由您的同行约翰·麦卡锡在达特茅斯会议上创造的。所以您当时获得图灵奖时，说要建一个大规模的AI系统。您现在也一直在思考AI的愿景、好的方面及其风险。请分享一下您对AI的看法及担忧。
罗杰·瑞迪
：我今天上午听了大家的讨论，很惊喜也很高兴看到大家对治理方面的风险和安全性的担忧。但同时，我觉得我们应该更多地讨论AI在每一个领域的应用。我们应该将AI视为一个工具，来进一步增强人类的智能能力。不管你是谁，你应该有能力去做你想做的事情，并且速度要提高10倍到100倍。那么，我们需要做哪些研究和投资来实现这一点呢？现在我们还没有做到这一点。
联合国的发言人提到能力建设。我们的教育体系目前没有办法培养理解AI的新一代人，他们需要用AI来做好自己的工作。我们不能解决每个人的问题，但我们能让每个人把自己的工作做好。那怎么做到这一点呢？
沈向阳：
曼纽尔教授，接下来请您谈谈一个非常重要的AI方面的问题，也是您过去几年研究的重点——意识这个神秘的东西。有意识的AI能否实现？请您介绍一下您的工作。
曼纽尔·布卢姆
：我先讲一下我的导师。马文·明斯基（Marvin Minsky）和另一个导师沃伦·麦卡洛克（Warren McCulloch），他们与沃尔特·皮茨（Walter Pitts）一起在神经网络领域做出了重要贡献。我很幸运能够跟他们一起学习。我从二年级起就开始尝试理解人类的大脑。我当时的老师告诉我妈妈，我可能高中能毕业，但上不了大学。我的妈妈很困扰，但我并没有。我问我的父亲怎么能变得更聪明，他告诉我，如果我了解大脑里发生了什么，就会变得聪明些。
我觉得这是个好主意。我一直在研究与意识有关的工作，已经二十多年了。现在，研究意识已经变得普遍接受。我当时的导师沃伦·麦卡洛克（Warren McCulloch）告诉我不要研究意识，那是1958年，现在这项研究已经很正常了。意识能够给我们建立通用人工智能的想法。布卢姆和我已经创立了一个有意识的图灵机模型（CTM），部分基于图灵的工作。我们要建立一个非常简单的模型来理解大脑。
