人工智能系统蕴含的主要风险可以被归纳为四个主要层面：
其一，与人工智能系统本身相关的风险。
首先是安全漏洞问题，人工智能系统的复杂性和广泛应用，使其易于受到攻击。例如，机器学习模型可能受到数据中毒攻击，从而影响其决策能力。其次是人工智能模型的不透明性问题，许多深度学习模型如同“黑箱”，难以解释其决策过程，这可能导致无法充分理解系统作出决策的原因，尤其是在医疗或法律等关键领域。此外，还存在人工智能系统的失控问题，随着通用人工智能实现的可能性越来越大，人们愈发担心人工智能系统的自主性过强，从而带来超出人类控制的风险。
其二，人工智能系统在开发与应用中存在违反社会伦理道德标准引发的风险。
首先，存在侵犯个人隐私的风险。人工智能技术，如面部识别和行为分析算法技术等，如果未经严格监管，可能会被用于企业对员工不合理的监控。又如，人工智能系统通常需要收集和处理大量个人数据，如果这些数据的采集和使用未遵循隐私保护标准，就可能导致数据泄露或滥用，侵犯个人隐私权。其次是算法偏见问题。人工智能系统训练数据中存在的偏见可能带来不公正的决策和歧视性结果。比如，面试筛选系统可能因偏见数据而对某一特定种族或性别的候选人产生歧视。再次是责任和问责不清问题。当人工智能系统的决策产生负面后果时，确定谁应该为这些决策负责是一个难题，开发人员、操作人员或使用者之间的责任归属常常含糊不清。与此同时，深度学习模型的不透明性使得系统的决策过程在伦理审查中难以理解和评估，尤其当AI用于医疗、金融或执法等领域时，这种不透明性可能伴生严重的伦理问题。最后，涉及道德边界的跨越问题。人工智能系统有可能被应用于影响人类生存、健康等基本权利的领域（如自动驾驶汽车和医疗诊断），如果人工智能系统发生故障或错误，可能会引发深远的伦理争议。
其三，人工智能系统存在被误用、滥用或恶用的风险。
一是人工智能系统可能被用于深度伪造和信息操控。人工智能技术可以生成逼真的视频和音频，如深度伪造技术，这些技术可能被用于制造假新闻或虚假信息，误导公众舆论，进而威胁公共管理和社会稳定。二是人工智能系统可能被用于操控行为。利用人工智能的行为分析和个性化推荐技术，公司或组织能够设计出极具针对性的广告或信息流，可以操控用户行为和决策，削弱个体自主权。更为极端的是，人工智能系统可能存在被恐怖组织恶用的风险。如果无人驾驶技术与人工智能技术结合起来，可能被非法组织用于实施复杂且难以预防的袭击，例如，被恐怖组织用来增强其作战和宣传能力，使用无人机进行攻击或利用自动化工具传播极端主义内容。
其四，人工智能系统存在被用于威胁国家政治和军事安全的活动引发的风险。
一是通过信息战与虚假信息的传播，人工智能系统已构成威胁国家政治安全的一大风险。例如，人工智能技术可以生成高度逼真的虚假内容（如深度伪造视频和图像），这些虚假信息可能被用于传播不实消息、煽动公众情绪和扰乱社会稳定。又如，人工智能技术可用于分析和预测选民行为，为设计精准的政治宣传和操控手段提供便利。二是在网络等基础设施安全方面，人工智能技术被用于增强网络攻击的复杂性和自动化程度，使得攻击更难检测和防御。这些攻击可能针对关键基础设施，如电网、交通系统和政府数据库，对国家安全构成严重威胁。三是在军事方面，人工智能技术可以用来开发自主武器系统。此类系统甚至可能在无人工干预的情况下作出生死决策，增加了误判、冲突升级和不必要的暴力行为的风险。四是人工智能技术可能导致军备竞赛与地缘政治紧张。目前，各国竞相发展人工智能技术以获取军事优势，可能引发新一轮军备竞赛，导致技术扩散和地区或全球性冲突风险增加，威胁全球安全平衡。
国际社会对于上述风险的认识随着人工智能技术的发展不断深化。特别是自ChatGPT发布以来，全球对于大语言模型可能引发的安全隐患给予了更多关注。在过去的一年多时间里，我们见证了多项旨在加强国际合作与交流的重大举措：比如，联合国秘书长古特雷斯于2023年10月组建了一个高级别专家组，专门研究人工智能治理问题；英国于2023年11月主办了首届人工智能安全峰会，并于2024年与韩国共同举办了第二届会议；欧盟通过了具有里程碑意义的《人工智能法案》；2024年7月，联合国还通过了一项由中国主导发起的提案，旨在促进各国在提升人工智能方面的协作。所有这些行动都表明，
无论是政府机构还是私营部门，都已经深刻认识到构建一个健全有效的人工智能治理体系的重要性。
清醒地认识到人工智能技术可能带来的风险，并不意味着我们就能够对这些风险进行有效治理，不仅如此，由于人工智能技术的特性，我们原来所熟悉的治理手段和方法似乎正在失效。
一方面，人工智能带来的风险涉及各个方面和各个领域，另一方面，由于人工智能技术尚处于发展阶段，社会各界对其风险的认识也不尽相同，人工智能的收益和风险的权衡仍充满不确定性。而全球层面各国在治理体系、技术能力、经济发展水平的差异，更是给人工智能的全球治理带来了诸多挑战。
第一个挑战是未来通用人工智能发展技术路径的不确定性问题。
虽然大多数专家对规模定律（Scaling Law）坚信不疑，认为只要有足够的算力，大模型就会带来众多新场景和一系列令人惊艳的表现，最终实现通用人工智能。但最近一段时间，已有越来越多的专家对规模定律提出质疑，规模定律是否是提升系统性能的唯一办法？是否还有其他可行的技术路径？这些新的技术路径发展的不确定性，将在人工智能治理的基础层面引发新的问题。
第二个挑战是技术治理与技术创新步调协调的问题。
人工智能技术的发展日新月异，但技术治理的法律法规制定及相关机构、制度的变革却相对缓慢，导致两者之间存在步调不一致的现象。这种现象在全球范围内普遍存在，这种步调不一致使得治理似乎总是滞后于人工智能技术的发展，这也是为什么我们总在强调“敏捷治理”的重要性。
