AI经济学 | 第十章：积极应对AI伦理、安全新挑战

人工智能（AI）的广泛应用在带来巨大新机遇的同时也带来特殊的伦理与安全挑战。与以往三次产业革命带来的对劳工权利和环境治理的重视不同，AI的特殊性及其迅速发展给人类社会带来更广泛、更深刻、更具颠覆性的伦理和安全问题。AI伦理中的 公平与正义 尤为重要，人工智能可能进一步加剧偏见与歧视、扩大数字鸿沟，并可能给劳动力市场带来影响。AI的类人性和互动性使其 意识与权利 也成为当前伦理讨论新前沿，如何理解和处理AI对人类尊严的潜在冲击也是一个重要挑战。中国在AI伦理方面的讨论仍在持续推进中，需深化研究、推进治理理念。

AI的安全风险涉及多个维度。首先， 国家安全 是核心方面，AI具有战略重要性，AI不当使用以及信息操纵可损害国家战略、经济与信息安全。其次， AI体系安全 是基础，包括软、硬件等基础设施的供应安全、以庞大市场为基础的需求安全、其应用部署安全等，需确保AI生态系统的独立性、完整性和抗攻击能力。 数据安全 是AI系统能否有效、高质量运行的关键。大部分国家都正遵循并升级过往在信息技术和数字科技中的管理模式，以完善数据安全治理。AI应用中广泛出现的错误与虚假信息、信息茧房、隐私泄露等问题对 社会安全 带来挑战，甚至可能危害 公民人身安全。

不同经济体的规模、文化价值观、AI发展水平迥异，其 AI治理理念和策略 也存在显著差异。 AI伦理 原则是全球AI治理的基石，目前在国际层面已出台了一些具有普适性的原则。 伦理、安全与效率 之间的权衡对各国治理策略有重要影响，不同治理策略大致可分为三种类型：强调效率的创新优先型、重视伦理与安全的综合风险管理型、以及平衡创新与安全的平衡管控型。中国AI治理也面临自己的挑战，如政策韧性和公众参与不足，以及执法力度有待提升。建议未来中国的AI治理体系：1）重视AI伦理并完善监管框架；2）聚焦执法落地，有效防控AI安全风险；3）推进灵活的、适应性强的治理模式；4）提升AI治理中的公众参与度；5）积极参与并主导国际间的协调合作。

人工智能（AI）的发展及其在经济、金融、社会、国防等不同领域中的广泛应用是第四次产业革命和数字经济中的一个重要组成部分。特别是OpenAI于2022年11月30日发布的ChatGPT，在推出后仅两个月就达到了每月1亿活跃用户数[1]，引发了新一轮以生成式AI引领的人工智能研发浪潮。除了ChatGPT、Claude和百度文心一言等聊天机器人之外，搜索引擎Perplexity AI、文生视频模型Sora等应用，给人类社会带来了广泛的影响。在经济方面，AI在生产端有潜力提高企业生产效率、创造新就业；在消费端，AI发展拉动了消费者对新产品、新服务产生的新需求，带来新机遇。然而，随着AI应用的不断推广和深化，特别是在ChatGPT等大语言模型发布推广后，政府部门和公众也日趋关注如何有效应对AI带来的新挑战，尤其是AI应用所带来的特殊伦理和安全风险，对AI治理的关注度迅速攀升（图表10.1）。

人工智能被认为是能够引领第四次工业革命的重要技术之一。第四次工业革命的特征是对数字化、网络化和智能化等新技术的融合，其重点科技创新包括智能机器人、物联网和无人驾驶等与AI紧密相连的技术，以及3D打印、新材料和基因工程等[3]。其中，人工智能，特别是通用人工智能（artificial general intelligence, AGI），其类人性和数据依赖性对全球经济乃至人类社会的影响可能更具颠覆性，而随之而来的风险和治理挑战也是特殊并且巨大的。过去十多年来，AI技术快速发展，体现在AI专利数和AI模型应用的快速上升，AI相关案件、争议数量也大幅上升（图表10.2）。AI相关风险事件已广泛渗入社会各行各业，在社交媒体、娱乐、科技等领域尤为明显，给社会、经济造成负面影响，也给其治理带来了新挑战（图表10.3）。伴随着AI产业的发展和AI风险的上升，相关治理政策相继出台（图表10.4）。

AI伦理与安全是AI治理中的特殊风险点。AI的技术特性带来与过往科技创新不一样的伦理和安全等方面的风险考量。就伦理而言，人工智能涵盖了多种技术及其应用，包括大数据和云计算等，这些技术可能造成算法歧视、劳动力替代等伦理问题。其劳动力替代的偏向可能进而加剧社会不平等；而AI中存在的算法歧视可能进一步放大现有的一些社会偏见、从而损害一些群体的利益。同时，随着技术的发展，AI系统展现出日益接近人类的特征，这引发了关于AI意识和权利的复杂讨论。其中，如何界定和保护AI本身的“权利”并避免其有意识地侵犯人类的权益，是一个深刻的、前所未有的问题，并可能随着AI的进一步发展变得越来越重要。伦理以人类社会的道德规范为基础，AI伦理治理更侧重于提供一个AI系统应遵循的指导方针和行为准则，包括其是否注重公平、正义、安全等核心价值观，其关注的是在一个较理想的状态下AI系统或AI产品与服务应如何表现。

从安全角度出发，和以往颠覆性科技创新所引发的产业革命不同，人工智能的独特性在于其在模拟人脑进行分析并替代人类做出一些重要决策（如智能投顾中AI的应用），而AI的不透明“黑箱运作”和AI运行中对数据和网络的依赖也带来了重大的安全风险。

AI安全治理是保障各国AI技术稳定发展的关键。首先，从 国家安全 角度看，AI技术具战略重要性，是当前美国、欧盟和中国等国家和地区多元竞争合作的核心组成部分。随着AI技术的迅速发展，人才、数据、芯片（算力）等多种资源竞争日趋激烈，保障国家安全需要覆盖从传统安全领域到经济金融、科技、信息等非传统安全领域。其次，保障AI体系，包括保障AI基础设施的独立性和完整性，是AI安全的基础。AI系统在信息收集、存储、处理和计算分析、决策等各个阶段都可能发生事故或受到攻击，因此保障AI研发、供应和需求端安全至关重要。再次，人工智能发展和应用高度依赖高质量的大数据，而确保 数据安全 和数据主体的隐私保护，防止数据泄露、滥用、错误和虚假信息等[5]，是获取和使用高质量数据的基础。据世界经济论坛（World Economic Forum）一项对1500多名各界专家的调查显示，AI生成的错误和虚假信息广受关注，在2024年全球十大风险中位列第二。最后，AI技术在实际应用中也可能造成人身伤害，如无人驾驶汽车事故。类比对药物的严格审批和监管体系，我们需要对AI技术应用进行严格的安全评估和监管，确保其不会对 公民人身安全 构成威胁。AI安全治理主要从国家安全、AI体系安全、数据安全、公民安全四个层面出发，在保障人类社会安全的大前提下积极有效地发展AI技术及其应用。OECD梳理的现有AI工具和指标（tools / metrics）以及他们的应用案例也显示AI伦理与安全已成为AI治理的核心维度（图表10.5），印证了这两方面在AI治理讨论中的重要性。

2015年诺贝尔经济学奖获得者安格斯·迪顿认为，“与亚当·斯密、卡尔·马克思、约翰·梅纳德·凯恩斯、弗里德里希·哈耶克、甚至米尔顿·弗里德曼等经济学家不同，主流经济学家很大程度上已经停止了对伦理和人类福祉构成的思考”[7]。而在人工智能的发展和应用中，伦理尤为重要。在过去的几十年里，积极设计和实施AI技术的大型科技公司的AI研发人员很少关注与就业和社会福祉相关的重要问题[8]。然而，AI治理的目的不是仅限于AI产业的发展与效率的提升，而且还要提升社会的整体福利。尽管伦理原则在某种程度上限制了AI技术的发展，但正是这些来自治理层面的限制防止了AI技术的滥用以及其对社会可能造成的负面影响。在探讨人工智能伦理时，我们首先需要理解“伦理”本身的含义。伦理，是在社会或社群中关于可接受和不可接受行为的一套准则，接近道德、行为上的“对与错”。AI本身是一个依赖于大数据、算力、算法和应用统计学的重要工具，可大幅提高许多工作任务的执行效率，其本质上并无善恶之分，但高效率的犯错不仅不会造福人类，更有可能对人类社会造成巨大伤害。因此，AI能否造福社会，归根结底取决于人类对这一强大工具的目的设定及其使用。而在AI系统展现出近似人类的分析和决策能力时，“工具”的概念逐渐模糊。在人类走向与AI共处的时代，设计、不断优化和遵循执行AI伦理治理准则、推进AI发展及其应用成为人类福祉的一个关键因素。

科学技术的发展一直是推动社会进步的重要动力和催化剂。从机械化到电气化、规模化、自动化，再到今天如火如荼的智能化，每一次技术革新在带来生产力提升的同时，因其对社会经济和民众生活巨大的影响都会带来伦理方面的问题和挑战，特别是在社会变革中产生的公平与正义问题，而人类的应对往往推动社会的进步。第一次工业革命中机器和工厂制度的兴起极大提高了生产效率，但伴随着机械化和工厂的普及而来的是广大劳工恶劣的工作条件，引发了著名的卢德运动。为回应这些问题，英国政府通过的1833年《工厂法》、1847年《十小时法案》和1871年《贸易工会法》等法案，着重改善工人的工作环境、提升社会公平正义[9]。机械化和规模化生产也造成、加剧了环境污染。为应对这一挑战，美国在1948年通过了《联邦水污染控制法》，并在1972年对其进行了重大修订，形成了现在大家熟知的《清洁水法》（Clean Water Act）[10]。该法案建立了一个基本框架，用于规范向美国水域排放污染物的行为，并设定了地表水的质量标准。美国还通过1963年的《空气清洁法》[11]，以及1970年的《国家环境政策法案》和环保局（EPA）的成立，开始严格控制工业污染，保护环境，提升人类福祉[12]。

自动化和智能化进一步提高了生产效率，但也导致部分低中技能劳动力被替代，这在发达国家的一些制造业领域中尤其明显。全球化进程中的全球供应链重组和整合进一步加剧了科技创新带来的不平等，在一些发达经济体中的制造业乃至低端服务业中，低技能工作岗位流失、薪酬多年停步不前；而在一些新兴市场和发展中经济体，劳工权益长期保护不足。1995年成立的世界贸易组织（WTO）通过《反倾销协议》等多边协议提升全球劳工权利保护标准，还有2020年国际劳工组织（ILO）颁布的《全球供应链中的劳工标准》等[13]，都有助于应对科技创新带来的这些伦理问题，特别是社会公平和正义。可见，多次技术革命都引发公平与正义话题。

当代的AI伦理是一个新兴的、高度跨学科的领域，演变自工程伦理、技术哲学与科学技术研究（STS）等学科的交叉地带[14]。对于AI伦理最早的讨论可以上溯至20世纪中叶，尤其是第二次世界大战后，主要讨论计算机技术对道德善恶产生社会影响的潜力[15]。20世纪后期，计算能力及其应用的发展引发了人们对隐私和决策问题的广泛关注和讨论。1970年代，美国计算机协会（ACM）就颁布了第一部行业伦理规范，同时学者也开始反思人工智能开发的道德责任[16]、[17]。在1980年代， 计算机伦理 这一概念逐步成型，重点关注计算机及计算机技术所创造、改变或加剧的伦理问题[18]。

始于21世纪初的第四次工业革命以移动互联网的普及、更低成本和更小体积但性能更强大的半导体传感器的出现、人工智能和机器学习的不断发展和应用为核心[19]。2000年代， 机器伦理 （涉及在机器中进行有伦理的决策）和 机器人伦理 （涉及人类如何设计、使用和对待机器人）应运而生，而 AI伦理 则是一切与AI和伦理相关研究的总称[20]，与上述机器伦理、机器人伦理以及计算机伦理都关系密切。 计算伦理 则更偏技术性，关注如何通过AI算法做出符合道德原则、负责任的决策。在AI兴起后，最新相关研究呼吁AI伦理应加大对计算伦理的关注，以鼓励伦理学者积极参与设计更符合伦理原则的算法[21]。伦理研究随着技术的更新及其风险的暴露而进步，而伴随着人工智能技术的突飞猛进而快速发展， AI伦理 成为开展AI研究、设计、开发、服务和使用等科技活动需要遵循的基本价值理念和行为规范[22]，其核心议题是保障负责任、可信赖的AI应用。AI伦理仍是一个不断发展的领域，一方面尚未形成众多公认的既定议题；另一方面，该领域也缺乏权威性的全面论述。关于AI伦理的学术文献，从1985年第一篇此类文章发表至2020年，在其发展前期长达30年的时间中数量极为有限，直到2015年前后才迎来爆发式增长[23]。目前，全球范围内已经出现了一些AI伦理的原则与框架、对AI社会影响的研究，以及相关政策方面的讨论。在众多AI伦理指导文件中，公平（fairness）、安全（safety）、隐私（privacy）、问责性（accountability）、透明度（transparency）是目前最受到关注的几个核心方面[24]。其中，公平与正义话题贯穿多项技术革命，在AI时代被赋予了新的含义。

伦理中对于“公平与正义”的讨论贯穿时代，对其认识也是一个不断演变的过程（图表10.6）。在偏见与歧视方面，历史上，对弱势群体的偏见导致工人权益保护不足；到数字技术时代，数据收集本身可能带有偏见；而以大数据分析为基础的AI应用中，AI特殊的类人性、交互性和自主决策能力，使得数据和算法偏见可能导致AI决策系统恶化现有社会偏见，并在人机交互过程中可能严重误导用户或加强错误观念。颠覆性人工智能技术的高速发展在不同程度上加剧了已有的一些权利不平等问题并催发了一些新问题，如偏见和歧视等问题，“ 公平与正义 ”再度成为人工智能伦理领域的核心关切（图表10.7）。

由于AI技术在众多领域广泛应用，数据与算法偏差往往会导致大面积不公正的应用结果。AI 应用中的性别和种族歧视就是一个典型例子。例如，Amazon公司2014年试图构建自动筛选求职者系统，但由于公司绝大多数员工都是男性，人工智能基于公司员工信息分析判定男性相比女性是更合适的候选人[27]。2020年，密歇根州一名非裔美国人被错误逮捕，根本原因在于AI的训练集以白人面孔为主，尚未能学会如何有效识别黑人面部差异[28]。再如，由于训练集中的病历材料中存在大量低级别医生误诊以及医院对药物存在系统性偏好等问题，IBM Watson 的沃森健康医疗系统最终失败[29]。不仅是输入数据的偏差会带来AI的公平正义问题，人工智能算法也可能因目标偏离而造成巨大的伤害。例如，亚马逊 Alexa 助手以“减少人类对地球的负担”为由建议用户“自杀”[30]。在这个较为极端的案例中，Alexa的建议与用户利益完全背离。这些都说明人工智能技术的发展需要高度重视算法中的伦理问题，避免由此带来的危害。此外，AI算法黑箱的特征也可能诱发、扩大人工智能系统的歧视性。

其次，在劳动力市场上，传统机械化和自动化技术偏向于替代高重复性、低技能工作岗位，而AI则可能实现对更具技术性或高技能工作岗位的替代。现阶段AI技术更新快、应用广泛，对就业市场公平性的影响更加广泛和深远。20世纪的自动化技术推广并未导致更多人失业，尽管就业人口占总人口的比重有所上升，失业率并没有出现明显的长期增长，但自动化在很大一定程度上带来了就业两极化[31]。同样，银行出纳员的就业机会也没有因为ATM机的普及而减少，反而由于服务范围的扩大而增加了银行业的就业机会[32]。而AI对劳动力市场的影响可能存在异质性，AI与人类智能的差异性和互补性意味着二者存在协作空间（详见第四章：替代与增强，变革就业市场）。

最后，AI的广泛应用与数字时代特有的“数字鸿沟”问题密切关联。全球化和全球价值链中的比较优势是全球经济增长以及产业分工的核心驱动力，也是收入分配导致经济不平等的根源。人工智能的发展会进一步加剧全球不平衡，包括全球数字鸿沟和数字殖民主义：少量经济体掌握巨大的AI技术和数据优势以及应用场景，可能成为AI产业发展中较大的受益者；而位于不同发展阶段的国家和地区，乃至于不同性别、种族、经济水平以及阶级背景的人，获取和利用AI技术的机会和能力也存在明显差异。来自发展中经济体和新兴市场的居民，特别是女性、少数族裔、低收入人群以及偏远地区居民，由于缺乏硬件设备和网络资源等基础设施，和必备的数字技能，不仅无法充分享受AI带来的便利，也可能会相对承受更多AI发展带来的负面影响，社会不平等加剧，弱势群体竞争弱势进一步扩大，造成更大的不公平、加剧社会矛盾。

AI伦理是传统伦理在AI时代的演进。在传统伦理中，个人对其行为负责；在AI伦理中，问责变得更加复杂。这是因为AI的行为可能受到多个环节的影响，包括算法、数据、用户的交互等。同时，AI的意识与权利也成为值得思考的话题。自20世纪50年代图灵测试出现以来，人类一直在探索如何区分具有意识的人类与无意识的机器。在当今的一些测试中，ChatGPT的人机分辨正确率已经降低到了60%[33]，仅略高于随机选择的结果。这意味着在一定程度上，ChatGPT已经能够在短对话中混淆人们对真人和人工智能的分别。

AI是否能够拥有意识、或者是否已经具备了意识再次成为学界和业界讨论的焦点，特别是在哲学领域讨论较多。通过与世界的互动，人类产生对自我和外部世界的认知，从而发展出 自我意识 。一些学者认为AI对环境的理解需要其自我意识，而AI自我意识本身就是AI能够区分自己和环境的结果[34]。不少学者认为，AI能否具有意识与其模仿人脑信息处理方式以及建模能力息息相关，如果AI技术可以充分模仿人脑的计算方式，则理论上可以展现出某种形式的意识[35]。实际上，业界也有人认为AI意识已在发展。例如，OpenAI创始人Ilya Sutskever认为大型神经网络及大语言模型可能“有轻微自我意识”[36]。但另一些学者则持不同观点，有人认为目前的AI无法满足“内在具备意愿、信念或其他倾向，且有行动意图”的条件，因此还无法被视为拥有意识的独立主体[37]。哲学家Hubert Dreyfus在《炼金术与人工智能》一书中指出直觉是人类意识的关键组成部分，而人工智能不能捕捉直觉，因此不可能像人类一样拥有意识[38]。李飞飞也认为，尽管当前的人工智能系统，包括大语言模型，能够生成类似人类的回应，但它们并没有意识[39]。总的来说，人工智能是否拥有意识，这个问题当前仍存在很大争议。因此，AI伦理原则对AI产生意识并成为权利主体的可能性仍处于摸索状态。

AI治理中针对 权利与尊严 的讨论聚焦如何保护人类的权利以及AI对人类尊严可能产生的冲击，较少涉及关于 AI自身权利 的讨论。与此前几次技术革命不同， AI拥有意识的可能性带来了AI自身权利等考量。然而，调查研究显示人们对于赋予AI类人权利普遍存在担忧和不适。一项研究调查了1270名参与者对授予AI和机器人不同权利的看法[40]。结果显示，参与者对于赋予AI权利普遍持有负面态度（图表10.8），仅对于AI免受残酷对待的权利表现出正面态度。然而，其他权利，如AI的起诉和被诉权、持有资产权、签订合同权和受版权法保护的权利等，均遭到较强烈反对。这揭示了公众对于AI和机器人权利的复杂看法，同时也表明了在法律体系和社会互动中，人们对这些权利的接受程度存在明显的保留。2017年，欧洲议会曾发布一份报告，建议将人工智能视为“电子人”并赋予某些法律地位，从而承担特定的权利和义务[41]。这一提议引发了伦理和法律层面的广泛争议，156名人工智能专家在联名信中称，赋予机器法律地位不仅在法律和伦理上不合适，还可能对人类社会结构产生冲击。从社会实践上说，学者指出这种做法将使开发商逃避其对机器人行为的责任[42]。

AI对 人类尊严 潜在的威胁可能是公众反对赋予AI权利的重要原因之一。麻省理工学院Weizenbaum教授在1976年就提出，因为AI不能真正理解人类的情感和复杂的社会背景，在涉及同理心和道德判断的工作中存在局限性。因此，一些需要同理心的工作如果被AI取代，人类可能会感到被机器化对待，从而感到被疏远和贬低，产生沮丧感，这对社会结构和个人尊严将产生负面影响[45]。但有部分人持反对意见，有学者认为AI能代替一些少数群体承担低尊严的任务，可能更好地维护这些群体的尊严[46]，或是相信AI能通过扩展人类知识边界来增强人类尊严[47]。除尊严外，AI甚至可能影响人的独特地位和主体性，有学者指出，过度将机器人视为平等的同伴，可能会导致人们投入过多的资源和情感到与机器的关系中，从而忽视了与人类同伴间的互动，这可能会削弱人类的社会联系，消解人的主体性和人格[48]。

超越理论讨论，从AI伦理的政策实践来说，目前全球已形成一些AI伦理原则、全球倡议和国际讨论。国际组织，如经济合作与发展组织（OECD）人工智能政策观察站、联合国教科文组织、世界经济论坛等已经召集了广泛的利益相关者，为AI制定一些道德原则。另外，还有一些政府、全球倡议，如人工智能造福全球峰会、人工智能造福倡议和人工智能伙伴关系；以及由人工智能促进会（AAAI）和计算机协会（ACM）支持的各项人工智能伦理相关的研讨会[49]。目前相关AI伦理的研究和讨论仍主要集中在欧美社会，也更多反映了基于欧美文化传统的伦理思考[50]，而中国在AI伦理方面仍在积极推进中[51]。相较中国的《新一代人工智能伦理规范》，欧盟高级专家组（HLEG）发布的《可信赖人工智能伦理准则》实操性更佳。这份指南在自上而下的定性描述之外，其第三部分提供了非常具体的评估清单，从人的能动性和监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉、问责机制等七个关键条件对开发、部署和使用人工智能的整个生命周期制定了详细评估方案[52]。

相对而言，美国和欧盟在人工智能伦理各方面的问题上的讨论和政策制定比较早且更为系统，其伦理相关政策文件的出台时间早于中国（图表10.9）。例如，美国的《人工智能伦理原则》、欧盟的《可信赖AI伦理准则》均早于中国制定的AI伦理规范，显示了他们对这一新兴领域的重视，并在国际论坛上积极发声，而中国则面临一定程度的挑战。首先，尽管AI属于科技领域，伦理问题却涉及“是非”问题，容易被政治化并造成舆论压力[53]。其次，东西方科技伦理观念和规范标准存在文化差异[54]，可能会造成理念的分歧。最后，随着2017年中国政府在《新一代人工智能发展规划》中表明要在2030年达到AI理论、技术与应用的世界领先水平，其他国家也开始关注中国在人工智能领域的发展。在此背景下，西方国家成立“全球人工智能合作伙伴关系”（GPAI）以引领人工智能的发展[55]。如果不能在国际人工智能伦理标准的制定过程中占据主导地位、掌握话语权，本国企业在国际市场上的竞争力或将受到影响。

AI安全涉及多个维度，其中，国家安全是AI安全的核心组成部分。各经济体日益关注AI在增强其战略竞争力，包括AI在提升国防相关能力等方面的作用。人工智能时代，AI体系自身的安全和稳定性是AI稳步发展和AI不同维度安全的基础，这涉及到整体制度、供应、需求等各个层面，需要确保AI系统的完整性和抗攻击、抗风险等能力。同时，AI对数据存在很大的依赖性，数据安全是AI的基础，也是一个AI系统能否长期有效高质量运行的关键。目前，大部分国家都遵循并升级过往在信息技术和数字科技中的管理原则和模式来完善数据安全治理。另外，社会和公民的人身安全是AI安全的一个重要维度。AI应用涉及其在生活中方方面面的决策，而随着AI技术在智能社会、智能生活如交通、家居等领域的广泛应用，AI应用和公民人身安全紧密相关。AI产品和服务必须充分考虑安全因素，特别是在其分析、决策过程中人身安全的重要性，通过优秀的设计、严格的测试和质量控制来减少故障和意外带来的伤害风险。

随着信息和数字科技的飞速发展， 国家安全 的概念已从传统的国防和维护社会稳定领域，扩展到了经济金融、科技、信息、文化等社会生活的各个方面。在这一背景下，人工智能作为一项颠覆性的通用技术，其对国家安全的影响日益凸显。AI的核心三要素——数据、算法和算力，赋予了AI强大的数据处理、分析预测和决策提升能力[56]，使其在维护国家利益中的传统和非传统安全领域都产生重要影响。

第一，人工智能在 政治、军事等战略安全领域 应用场景广泛，能在传统安全领域显著提升决策能力和行动效率。例如，人工智能可以通过分析大数据和网络信息，以辅助政府识别、理解以及预估政治和国防等趋势，从而有效采取相应的政策和措施维护国家安全。AI很大程度上能够减轻传统安全领域的人力负担，包括体力和脑力劳动，基于高度自动化与集成化的智能系统有效加强边境管理，防范非法移民、走私犯罪活动等威胁。人工智能技术同样也被广泛应用于提高军事效能，在军队发展与协同、情报搜集与分析、对抗模拟与战术分析等领域拥有巨大潜力[57]。AI的优秀能力使其成为一些传统上与发达国家国防能力有较大差距的新兴国家主体寻求超越传统安全关切的系统性解决路径[58]。

另一方面，人工智能也为战略安全领域带来了安全威胁和伦理道德问题。如AI可被用于政治宣传和信息操纵[59]。2022年3月，伪造乌克兰总统泽连斯基呼吁其军队向俄罗斯军队投降的视频曾在网络上广泛传播，反映出在冲突时期虚假信息可能产生的严重后果[60]。2023年9月，斯洛伐克大选前两天，一段AI合成的虚假录音被散布，其中一位主要候选人正试图操纵选举结果[61]。早在2018年，剑桥分析公司就被曝利用 Facebook 上的数据对用户进行政治偏好分析，并可能对国家政治安全产生重大影响[62]。另外，AI在军事装备和作战系统的应用让军事效果难以控制：例如，在监督和问责制度缺位的情况下部署自主武器，对各国战略安全构成严重威胁，对国际安全局势产生深远影响。

第二，人工智能技术的发展对 经济和金融的安全 产生了重要影响。一方面，人工智能的广泛应用提高了经济、金融各部门的生产效率、降低了劳动成本，从而促进了产业升级、经济增长。在金融领域，AI提升金融监管效率[63]，强化反洗钱网络[64]。但另一方面，AI应用带来的信息操纵问题可能对经济金融造成重要安全隐患。例如，2023年5月，五角大楼爆炸的假照片疯传，引发金融市场恐慌，导致美股短暂闪崩，道琼斯指数在三分钟内下跌约80点，标普500指数急跌17个基点[65]。此外，AI可能操纵证券、货币等市场并发动类似于恶意网络攻击的破坏[66]。

第三，人工智能在 科技安全和信息安全 中发挥着重要作用。在科技安全方面，人工智能推动了科技创新和产品升级，在信息安全领域，AI驱动的网络安全系统结合多模态大数据识别、监测、对抗网络威胁，显著提高了传统反病毒手段效率并提供多元安全解决方案[67]。然而，AI也带来了新的不确定性和安全脆弱性，包括科技制裁、网络和信息战等问题。主导AI技术和应用的法律和道德标准制定是获取AI战略优势的一个直接途径， 如美国采取的AI相关科技制裁和单边禁令等本国产业保护措施，包括美国国会通过的出口控制改革法案（ECRA）和外国投资风险评估现代化法案（FIRRMA）、AI技术的投资交易审查、相关AI产业链的进出口措施等[68]。此外，在AI技术的赋能下，移动平台、物联网与网络系统正变得日益复杂，网络攻击和深度伪造的成本越来越低、能力越来越强，使底层的网络安全和表层的信息安全都面临着极大的威胁。

最后，近期提出的“ 主权AI ”（Sovereign AI）概念与国家安全密切相关。简而言之，主权AI的本质是通过战略性地使用人工智能来增强国家保护和促进自身利益的能力，旨在通过发展国家自身AI实力并确保在全国范围内获取关键数据、技术、专业知识和基础设施来减少对外国人工智能技术的依赖[69]。这可以保护该国免受潜在的供应链中断，从而加强国家主权。这个概念强调了国家对其数据，包括文化、历史、经济、社会等多种要素及其产生的数据和智能的所有权[70]。由于人工智能的后发国家往往不得不采用领先国家的产品和技术，而各国在人工智能发展中对外部技术的依赖可能会使这些国家在后续的发展中受到其他国家的制约和影响，这体现出AI体系安全对于国家安全的重要性。

与 国家安全 所关注的外部安全相对应， AI体系安全 指人工智能生态的内部安全。在AI技术广泛应用于金融、医疗、交通等关键基础设施的今天，确保AI体系的安全已不再是一个单纯的技术问题，而是复杂的AI生态治理问题，需要综合技术性和非技术性措施形成全面的安全体系。AI体系的整体管理包括制定和落实与AI体系相关的政策、法规、标准、评估和合作框架。缺乏统一的政策和法规框架会直接导致AI体系的监管、道德与法律风险；缺乏统一的标准、监管和评估程序可能影响AI体系的可操作性和安全性并诱发AI滥用和安全漏洞。充分的国际合作可防止进一步形成AI体系壁垒。

从供应方面来说，AI体系中的硬件与软件供应是支撑AI基础设施的核心，包括芯片、服务器、数据中心、网络、操作系统等。AI基础设施是AI研发的支撑，重要软硬件的缺失或中断可能直接导致AI系统瘫痪[71]。各国在面对AI体系的供应安全问题时采取了不同的立场和策略。如上文所述，美国采取了保护主义政策，通过加强对外国AI技术投资的审查、实施技术转让限制等手段，维护国家的科技优势和经济利益，同时保护国内产业免受外部竞争的冲击。然而，这种政策可能会进一步引发摩擦，遏制别国AI体系发展的同时，也可能降低本国AI体系的效率。相反，中国则呼吁建立公平竞争的环境，加强国际社会对AI技术的共识和合作。

在需求方面，庞大的 市场规模 为AI发展提供重要驱动力，也有利于保障AI体系的独立性和安全。中国、美国和印度的全球AI指数在其所在收入分组中都居领先地位（图表10.10）。经济总量带来的规模效应使得这些国家能够给AI技术提供大量资源，特别是在研发、基础设施建设、以及需求拉动方面，并能够营造有利于AI创新和发展的商业环境。在中国，AI投资是国家发展计划的重要组成部分，在“十四五”规划和2035年远景目标纲要中人工智能的优先级进一步提升[72]。据IDC预计，2027年中国AI投资规模有望达到381亿美元，全球占比约9%[73]。此外，中国还在大规模数据中心和互联网基础设施建设上进行了大量投资，为AI发展创造了坚实的基础[74]。美国作为AI技术的市场领导者，到2025年其国内AI投资预计可达817亿美元，此外根据测算人工智能相关投资在美国未来长期内可达GDP的2.5%至4%[75]。Accenture的研究指出，AI有望到2035年为印度经济增加高达9570亿美元的价值[76]，为实现这一目标，印度也正在大力投资于关键的AI基础设施和技术创新领域。

以互联网和数字技术为基础的信息革命对数据的数量和质量都提出了越来越高的要求。AI时代海量数据的收集、存储和处理对个人安全和隐私都产生了实质性影响，也为社会带来了广泛而深刻的伦理思考。基于数据、算法和算力三要素的AI系统在数据质量、安全透明、歧视与公平原则等方面都提出了更高的要求。数字时代对 隐私和数据安全 的讨论在人工智能时代显得更为重要，欧盟2018年发布的《通用数据保护条例》（GDPR），中国2021年颁布的《数据安全法》均将保护数据安全提升到一个前所未有的高度。而最新的人工智能技术发展如ChatGPT表现出更强的社交互动能力和自主决策能力，人工智能系统复杂性的上升及其产生独立意识的可能性，带来了更广泛且特殊的 社会和个人安全挑战。

人工智能提高了数据处理能力、改善了公共服务提高了社会治理效能，但AI在数据收集、算法构建、产品开发及其应用过程中，也会造成虚假信息、隐私泄露、人权侵犯与歧视问题并可能被利用以煽动或激化社会矛盾[77]，不利于维护社会稳定和公共秩序。在AI应用中， 数据泄露和身份盗窃 问题尤为突出，AI系统处理的大量个人和企业信息可能在有意无意中被泄露，增加了数据滥用风险。例如，2022年，Copilot曾因未获得用户授权的情况下，使用公共存储库进行训练被告上法庭[78]。再如，2023年OpenAI因未经允许使用个人隐私数据收到了一份长达157页的诉讼书[79]。此外，同年多名ChatGPT用户在自己的历史对话中看到了他人的对话记录，包括敏感信息如用户姓名、电子邮件地址、信用卡号以及信用卡有效期[80]。除了上文提到的错误信息导致的偏见与歧视问题， 虚假信息 也是AI数据信息安全问题的重要方面。2019年一起美国联邦法院案件中，律师引用了6个由ChatGPT生成的虚构案例，构成“虚假陈述”[81]。此外，AI也可能放大一些对互联网和社交媒体有强烈依赖的人群的思维和行为走向，包括一些信息相对隔离的老年人的孤独感，加剧这个信息时代的“ 信息茧房 ”，即媒体为博取关注，推送算法匹配“相似”的内容，或传播错误、虚假信息[82]。

AI系统的实时自主决策偏差可能导致 人身安全 问题和社会影响，包括AI医疗事故如上文所述IBM Watson医疗系统的失败、无人驾驶汽车事故、反社会倾向等，威胁、辱骂、坚持错误言论也经常出现在AI聊天程序中[83]。微软聊天机器人Sydney在和一名用户聊天中，试图破坏该用户的婚姻[84]；Alexa语音助手建议用户“自杀”等案例屡见不鲜。在无人驾驶汽车中，由于AI决策算法在较复杂或高压环境下可能无法做出最优决策，如紧急避让或实时交通路径规划失误，都可能造成交通事故，甚至严重危害人身安全[85]。数据显示，相较于传统车辆每行驶100万英里会发生4.1起事故，无人驾驶汽车会发生9.1起事故[86]。其中，无人驾驶汽车事故中最常见的碰撞场景是追尾碰撞（占52.46%）和车道变更碰撞（占18.85%），特别是被追尾的频率是传统车辆的1.6倍[87]。其原因主要在于，AI在感知和路径规划方面存在问题，例如无人驾驶车辆未能准确识别其他车辆变道意图、在时间和空间维度上的路径规划不足等。由此可见，严格的监管框架和高度重视AI技术研发对保障公民AI应用安全至关重要。

AI产业革命方兴未艾，存在很大的特殊性和不确定性，而AI伦理和安全的特殊风险也给各国政府带来众多新挑战。不同国家的经济发展水平、政治体制和文化价值观、以及AI的发展现状，导致各国的AI治理理念和治理策略存在差异。当前，各界对人工智能的定义及其标准尚未取得共识，不同经济体AI技术开发和应用的深度和广度差别巨大，出台的相关治理政策总体效率难以评估。权衡AI伦理基本原则、安全考量以及AI进步对效率提升的作用对AI治理方向、治理模式和策略至关重要。AI模型的内部核心计算机制难以解释、且算法是核心商业机密，导致“黑盒”问题，难以确权和追责。如何确保AI技术的设计和应用能够公正无偏，尊重所有人乃至AI本身的权利和机会，同时有效防范可能的攻击和安全隐患，仍需进一步摸索和探讨。同时，人工智能用途广泛，其通用性、技术复杂性、以及快速“涌现”使其在赋能各行各业的同时也对治理机构提出较高的专业要求和挑战，AI治理者需要对相关技术及行业均有深入了解，才能有针对性地制定治理政策。

近年来，AI治理在国际上已得到相当关注。目前，在国际层面已经出台了一些具有普遍适用性的 AI伦理原则 。2019年，42个国家同意了经合组织（OECD）制定的《经合组织人工智能原则》，其中涉及包容性增长、可持续发展和福祉；以人类为中心的价值和公平；透明度和可解释性；安全性与稳健性；问责性等重要方面。2021年，联合国科教文组织（UNESCO）的193个成员国支持发布了全球首个AI伦理协议──《人工智能伦理问题建议书》，其中包括公平正义、多元包容、安全可控、隐私保护、人类福祉、避免伤害、平等均衡、责任保护等AI基本伦理原则。

我们聚焦讨论的 公平与正义、社会安全 等问题也凝聚了各国政府和国际组织一定共识，各国都已经开始针对不同伦理原则问题进行立法和监管（图表10.11），并纷纷制定AI法律法规以切实保障其公民人身安全以及社会安全，国际社会也积极倡议、推动通过合作共同解决AI带来的不平等、歧视等社会挑战。主要经济体中，欧盟最为重视伦理问题。欧盟《人工智能法案》明确要求在AI系统的整个生命周期内，确保实现其各方面的公平性，并禁止可能导致歧视性结果的AI应用。美国则侧重于性别平等与文化尊重，重视AI对劳动力市场的潜在影响以及如何保护受影响的劳动者。中国的《全球人工智能治理倡议》、美国的《关于安全、可靠、可信地开发和使用人工智能的行政命令》以及欧盟的《人工智能法案》均强调了AI在社会安全方面可能引发的风险：中国注重AI的公平与非歧视性，主张建立一套完善的AI伦理规范和问责体系；美国关注消除AI算法偏见，维护公民权利和安全并推动公平和公民自由；欧盟则明确禁止了利用个人或群体数据进行AI操纵。

尽管不同国家的AI伦理基本原则具有高度相似性，但什么构成一个“好的社会”、“可信赖的AI”，以及如何实现这一目标，在很大程度上仍取决于广泛的社会、经济和文化等因素。根据皮尤研究中心（Pew Research Center）的调查，亚洲国家对人工智能的看法普遍正面，多数亚洲公众认为AI的发展对社会是有益的（图表10.12）。例如，新加坡和日本的支持率均超过65%，显示这些国家的公众普遍认为AI技术将带来积极的社会变革和经济发展。相比之下，欧美国家在对AI技术的态度整体上表现出更多的担忧，在美国，仅47%的人认为AI发展是好事。涉及AI可能导致的工作替代问题，对于使用机器人自动化替代过去人类工作，亚洲各国的接受度普遍偏高[88]。

当前对AI治理的辩论大多以人类基本价值观为前提：公平与正义、民主参与、以人为本等。当然，不同国家对这些概念的解释及其在各自价值体系中的作用的认知不尽相同，如东西方伦理原则的一个差异是对社会“和谐”的关注。在其中两套中国发布的伦理原则中提及这一概念：《新一代人工智能发展规划》提出促进人机协同，体现保障AI发展以及促进人类福祉的广泛目标，包括社会保障和公众参与[89]；《人工智能北京共识》提到了要促进学科、部门、组织和地区之间的和谐合作，避免恶意竞争，体现“优化共生”的理念[90]。相对的，以欧盟为代表的西方国家更关注个人。基于其“尊重人的尊严、自由、民主、平等、法治和尊重人权，包括属于少数群体的人的权利”的基本价值观，欧盟政策文件中明确关注培养发展以人类为中心的人工智能体系[91]。

AI治理政策的发展落后于AI进步，很多国家的治理方法在AI发展早期都相对碎片化，近年来才开始形成更加统一的框架。例如，G7国家已经认识到需要可互通、互操作的AI治理框架，但这些框架的具体内容因成员国在社会、文化和技术优先事项上的差异也大不相同：欧盟与加拿大倾向于建立全面AI法规；日本、英国和美国则更支持针对行业的指导性政策[93]。此外，各国AI政策的实际部署和执行力度差异很大。例如，欧盟《人工智能法案》是当前全球最全面并且最严格的监管框架之一，要求使用AI的公司具有高度的透明度和问责性；美国则采取了更分散、更具体的，针对特定部门的AI风险管理方法，主要由联邦机构在现有法律的基础上适应新的技术挑战，需要持续的适应和执行机制[94]。

由于全球主要经济体对于效率与安全的侧重点不同、以及文化伦理理念的不同，各国采取的 AI治理策略 大致可以分为三种类型：更强调效率的创新优先型、侧重于安全及伦理的综合风险管理型、以及平衡创新与安全的平衡管控型。

创新优先型 是AI技术领先国家如美国的主要AI治理策略，主要关注保持其在AI领域的领先地位、同时维护国家安全和体系安全，也包括一些希望通过较为宽松的治理监管环境促进AI技术及其应用快速进步的后进经济体。通过灵活的监管框架和行业自律，创新优先型策略积极推动技术创新、鼓励AI快速发展和新技术的商业化应用，并通过后续的监管调整和事后评估来应对新出现的问题和挑战。白宫科技政策办公室（OSTP）发布的《AI权利法案蓝图》（AIBoR）中提倡为特定行业如卫生和教育等制定特殊的AI治理方法，但由于其非强制性，大多数联邦机构仍只能在现有法律权限范围内适应快速发展的AI技术。例如，联邦贸易委员会（FTC）利用其防止“不公平和欺诈性”行为的权限来保障AI系统中的数据隐私，平等就业机会委员会（EEOC）在透明度方面进行监管，并执行非歧视性规定[95]。英国也倾向于采取较为宽松的监管措施。甚至英国首席人工智能和知识产权大臣于2023年表示英国“短期内”不会出台关于人工智能的法律，因为“政府担心严厉的监管可能会抑制行业增长”[96]。

创新优先也体现在由发达经济体主导的单边科技管控政策，这加剧了全球AI产业链的分割和AI技术的垄断。有些AI技术领先的国家以重视安全为由，实质却以此作为维护其AI领先地位的重要手段。美国作为AI产业的引领者，其国防部主导的安全领域AI战略在其同盟体系内影响较大。如前文所述，美国采取了强势保护政策，以巩固其AI产业领先地位。其他一些西方发达国家也在其AI战略中明确表示对AI全产业链的特别关注，如英国在《国家人工智能战略》中对AI上游的半导体产业和芯片设计等AI产业的重视[97]。然而，AI技术限制会导致AI研究跨境合作减少、技术流通不畅、数据割裂等问题，在强化国家安全和AI领先地位安全的同时也会降低效率。研究显示，2017年的中美贸易纠纷对企业创新有负面影响[98]。在此背景下，新兴市场和发展中国家开始积极探索建立自主的科技创新体系，中国的数据量和算力在全球占比已相当可观，2021-2022年算力总规模占比稳定在全球三分之一左右[99]，数据产量全球占比也从2017年的8.8%上升到2022年的10.5%[100]。其规模优势可进一步鼓励AI研发投入、扩大AI市场。

综合风险管理型策略 强调对AI的全面严格监管，确保技术发展符合社会伦理和法律法规。欧盟国家目前采取的AI治理策略就倾向于这一种，采用严格的法规和详尽的监管体系，涵盖AI系统的设计、开发和部署的各个阶段，重点关注个人权利保护和数据安全。欧盟通过了《通用数据保护条例》（GDPR）和《人工智能法案》等法规，为AI的开发和应用，尤其是高风险应用，设置了全面的法律框架，以防止可能的伦理和安全风险[101]。欧盟在其《人工智能法案》及其附属相关数据法案中对AI产业链中内外资主体无差别地实施强制监管。除欧盟外，加拿大作为最早提出AI治理规则的国家之一也提倡建立全面且有约束力的AI法规，拟定中的《人工智能与数据法案（AIDA）》旨在确保负责任地设计、开发和部署AI系统，使高影响力的AI系统确保安全和人权[102]。

此外， 综合风险管理型策略 特别注重对数据信息的保护。针对AI相关技术的治理，欧盟注重保护个人权利，其他一些经济体如中国则更倾向于利用AI提升公共治理效率。例如，意大利对个人隐私保护高度重视，其数据保护机构对面部识别技术的使用实施了严格限制，除司法调查或打击犯罪外禁止使用该技术[103]。相对的，在这一点上中国则强调科技创新的经济效益，政府通过采购相关服务支持AI的创新和应用，对人脸识别技术的应用持较为开放的态度，出台一系列政策促进人脸识别技术在智慧城市、安防市场等的应用落地[104]。不同的政策反映了不同国家在技术接受度、法律规范、文化价值观以及经济和社会需求方面的差异。

平衡创新与安全的平衡管控型治理策略 致力于在推动AI技术创新和加强监管之间找到平衡点，旨在确保公共利益和个人权利的同时促进技术的发展。中国和新加坡目前的治理策略体现了这样的倾向。在建立AI伦理框架和实施有弹性的政策工具如伦理指导原则和标准的同时，该策略鼓励公私部门合作、共同监督AI的应用和发展。中国在推动AI发展的同时，通过制定政策“红线”和法律法规，明确政府对AI发展的监管和规范指导职责，减少AI对个人与社会的负面影响[105]。中国提倡构建一个有利于人工智能行业发展的、有序竞争的市场环境，在对人工智能市场准入、竞争和交易进行规制的同时明确反对数据垄断、平台垄断和侵犯知识产权的行为[106]。新加坡则通过典范AI治理框架（Model AI Governance Framework）提供详尽且可操作的指导，帮助私营部门解决部署AI时遇到的关键伦理等治理问题，确保AI系统以人为本、保护人的安全与福祉[107]。

AI治理理念国际差异体现在其不同的AI政策工具及其关注点上。OECD数据显示，欧美发达经济体在AI相关的政策工具类别数量分布上较相似，倾向于将AI赋能与金融支持、战略治理与监管准则均衡结合起来（图表10.13）。相比之下，亚洲国家在金融支持政策的数量上占比偏少，而中国AI政策以战略治理和监管准则为主，致力于确保其发展符合国家的长远战略和社会稳定需求。

在过去二十年中，数字科技创新赋能的新产品、新服务、新运营模式不断涌现，对治理和监管机构都提出了诸多新挑战。中国数字治理的政策弹性对推动科技创新应用，特别是相关应用的普及和深化，起到重要作用，但在新兴技术应用的治理中也面临一些艰难的抉择，例如，在一些新兴行业如P2P网络借贷和ICO中出现了“ 急进猛退 ”的现象。作为技术革新推动的新金融，P2P和ICO在初期宽松的管制环境下，在中国一度兴起，但其迅速扩张导致风险事件后，严格的管控措施导致这两个新兴产业在中国的发展受到较大限制。

然而，P2P贷款作为以科技创新为基础的新金融服务在全球众多经济体依然展现其创新活力。平台通过提供技术支持和信息中介服务直接连接借贷双方，降低中介成本、提升贷款效率。在美国，P2P借贷平台如Lending Club和Prosper已为数百万借款人提供了数十亿美元的贷款[109]；在南美，Mercado Libre业务仍快速增长， 2023年第一季度支付总额同比增长了96%[110]。而ICO活动则纷纷转移到中国香港、新加坡等监管较为宽松的境外金融中心。除了对ICO较友好的英国、瑞士等国外，在美国和加拿大，ICO也被纳入到证券法的监管范围中。P2P融资平台和ICO在中国的治理经验显示了在面对技术驱动的市场变化时，有必要更重视提升数字治理前瞻性和灵活性、应用监管沙盒（Regulatory Sandbox），对新兴科技及其应用的深化普及、健康发展有重要作用。据统计，2023年全球AI政策中有28%属于适应性监管，有弹性的监管逐渐成为AI治理的重要组成部分（图表10.14）。

相较于主要依赖专家意见和技术官僚的传统金融监管等而言，数字治理尤其是AI伦理治理涉及现代社会生活的方方面面， 公众参与 尤为重要，是“负责任人工智能”的基本保障[111]。美国在其《人工智能权利法案蓝图》中对公众参与的描述详尽，不仅强调了在AI系统部署之前积极地征求公众意见的重要性，还具体指出在AI模型上市前进行道德审查和部署前测试的必要步骤。日本经济产业省在其发布的《实施人工智能原则的管理准则》中提到，在社会5.0的新治理模式下，将人工智能治理定义为“利益相关者对技术、组织和社会系统的设计和运作，管理人工智能的使用所带来的风险并最大限度地发挥其积极影响” [112]。中国在《互联网信息服务算法推荐管理规定》与《生成式人工智能服务管理暂行办法》中也提出应当建立健全投诉、举报机制并公布处理流程和反馈时限，及时受理、处理公众投诉举报并反馈处理结果等指导性意见。建立公众参与人工智能治理机制，保障公众的知情权、参与权、表达权、监督权是中国构建多元主体共同参与协同合作的治理体系的重要方面[113]。然而，目前公众参与渠道仍有限，保障广泛的公众参与有利于相关部门积极应对AI治理中出现的独特问题。

AI治理中的 立法、执法具体化和强操作性