一些研究人员担心，如果人工智能系统有了意识，而人们忽视或虐待它们，它们可能会遭受损失。图片来源：Pol Cartie/Sipa/Alamy
人工智能 (AI) 的快速发展带来了曾经只存在于科幻小说中的伦理问题：例如，如果人工智能系统有一天能够像人类一样“思考”，那么它们是否也能像人类一样拥有主观体验？它们会感受到痛苦吗？如果会，人类是否有能力妥善照顾它们？
一群哲学家和计算机科学家认为，应该认真对待人工智能的福利。在上个月发表在预印本服务器 arXiv 1上的一份报告中，在同行评审之前，他们呼吁人工智能公司不仅要评估其系统是否存在意识和自主决策能力，还要制定政策，以便在这些情况成为现实时如何对待这些系统。
如果人工智能有了意识：研究人员将如何知道
他们指出，如果人们没有意识到人工智能系统已经具备意识，那么他们可能会忽视它、伤害它或者让它遭受痛苦。
一些人认为，在现阶段，认为需要人工智能福利的想法是可笑的。其他人则持怀疑态度，但表示开始规划也无妨。英国布莱顿萨塞克斯大学的意识研究员阿尼尔·塞斯就是其中之一。他去年在科学杂志《鹦鹉螺》上写道：“这些场景可能看起来很离谱，有意识的人工智能可能还很遥远，甚至可能根本不可能出现。但它出现的影响足够深远，我们不能忽视这种可能性。 ” “问题不在于弗兰肯斯坦的生物活了过来；而在于它有意识，能感知。”
英国牛津的数学家乔纳森·梅森 (Jonathan Mason) 表示，随着我们越来越依赖这些技术，风险也越来越大。梅森没有参与撰写这份报告。梅森认为，开发评估人工智能系统意识的方法应该是当务之急。“让社会在某件事上投入如此多，并如此依赖我们知之甚少的东西，这是不明智的——我们甚至没有意识到它有感知能力，”他说。
纽约大学哲学家、该报告的合著者杰夫·塞博表示，如果人工智能系统没有经过适当的意识测试，人类也可能会受到伤害。他说，如果我们错误地认为一个系统有意识，福利资金可能会被用于照顾它，从而从需要它的人或动物身上夺走，或者“这可能会导致你限制使人工智能对人类安全或有益的努力”。
转折点？
该报告认为，人工智能福利正处于“过渡时期”。报告作者之一凯尔·菲什 (Kyle Fish) 最近被总部位于加利福尼亚州旧金山的人工智能公司 Anthropic 聘为人工智能福利研究员。报告作者表示，这是顶级人工智能公司首次设立此类职位。Anthropic 还帮助资助了导致该报告的初步研究。“转变正在发生，因为现在领先的人工智能公司中的一些人开始认真对待人工智能意识、代理和道德意义，”塞博说。
人工智能距离人类水平的智能还有多远？
《自然》联系了四家领先的人工智能公司，询问它们对人工智能福利的计划。三家公司——Anthropic、谷歌和微软——拒绝发表评论，同样位于旧金山的 OpenAI 也没有回应。
一些人尚未确信人工智能意识应该成为优先事项。今年 9 月，联合国人工智能高级咨询机构发布了一份关于世界应如何治理人工智能技术的报告。尽管一群科学家呼吁该机构支持评估机器意识的研究，但该文件并未涉及人工智能意识这一主题。
梅森说：“这说明向更广泛的社区传达这个问题存在着更深层次的挑战或困难。”
在不确定性下运营
Sebo 表示，尽管目前尚不清楚人工智能系统是否会实现意识（即使是人类 和动物也难以评估这种状态），但不确定性不应阻碍制定评估情况的协议的努力。作为初步措施，一组科学家去年发布了一份标准清单，这些标准可能有助于识别出有意识的可能性较高的系统。“即使是不完善的初始框架，也比现状要好，”Sebo 说。
然而，最新报告的作者表示，关于人工智能福利的讨论不应以牺牲其他重要问题为代价，例如确保人工智能开发对人类安全。“你可以致力于让人工智能系统对所有人都安全有益，”作者在报告中说。“包括人类、动物，以及——如果时机成熟——人工智能系统。”
https://www.nature.com/articles/d41586-024-04023-8
阅读报告全文，请访问欧米伽研究所的“未来知识库”
https://wx.zsxq.com/group/454854145828
未来知识库
是“
欧米伽
未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。
目前拥有超过8000
篇重要资料。
每周更新不少于100篇世界范围最新研究
资料
。
欢迎扫描二维码或访问
https://wx.zsxq.com/group/454854145828
进入。
截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告
-
Air Street Capital《2024 年人工智能现状报告》
-
未来今日研究所：2024 技术趋势报告 - 广义计算篇
-
科睿唯安中国科学院 2024 研究前沿热度指数报告
-
文本到图像合成：十年回顾
-
《以人为中心的大型语言模型（LLM）研究综述》
-
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
-
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告
-
理解世界还是预测未来？世界模型的综合综述
-
Google Cloud CSA2024 AI 与安全状况调研报告
-
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
-
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
-
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
-
国际可再生能源署 IRENA2024 年全球气候行动报告
-
Cell: 物理学和化学 、人工智能知识领域的融合
-
智次方 2025 中国 5G 产业全景图谱报告
-
未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇
-
Deepmind：AI 加速科学创新发现的黄金时代报告
-
PitchBookNVCA2024 年第三季度全球风险投资监测报告
-
德科 2024 年未来全球劳动力报告
-
高工咨询 2024 年协作机器人产业发展蓝皮书
-
国际能源署 IEA2024 年全球能源效率报告
-
基因慧基因行业蓝皮书 2024 - 2025
-
普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战
-
中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书
-
中移智库 2024 先进感知新技术及新应用白皮书
-
智次方研究院 2025 中国 AIoT 产业全景图谱报告
-
未来今日研究所：2024 技术趋势报告 - 人工智能篇
-
国际电联：迈向衡量数字经济的通用框架的路线图
-
联合国粮食与农业组织：2024 年世界粮食安全和营养状况
-
大语言模型综述
-
李飞飞等，AI 智能体：探索多模式交互的前景综述
-
哈尔滨工业大学 - ChatGPT 调研报告
-
2024《美国核部署战略报告》最新文件
-
清华大学：AIGC 发展研究 3.0 发布版 b 版
-
OpenAI：2024 年 OpenAI o1 大模型技术报告
-
Verizon2024 年世界支付安全报告
-
皇家学会哲学学报 从复杂系统角度评估人工智能风险
-
复旦大学 大模型 AI 代理的兴起和潜力：综述
-
经合组织 OECD2024 年气候行动监测报告
-
Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态
-
2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch
-
《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定
-
瑞士洛桑联邦理工学院 《人工智能中的 - 创造力：进展与挑战》
-
《你所需要知道的理 - 论：人工智能、人类认知与决策》牛津大学最新 53 页报告
-
世界经济论坛 新兴技术时代的网络弹性导航：应对复杂挑战的协作解决方案 2024
-
ADL 理特咨询 2024 汽车出行未来展望报告
-
2024 中国硬科技创新发展白皮书 - 开辟未来产业新赛道
-
科学时代的大语言模型中的人工智能
-
Gartner2025 年重要战略技术趋势报告
-
CBInsights2024 年第三季度全球人工智能投融资状况报告
-
TrendHunter2025 年全球趋势报告 - 全行业顶级创新和变革趋势前瞻
-
天津大学 2024 大模型轻量化技术研究报告
-
欧洲海洋局 2024 导航未来报告将海洋置于更广泛的地球系统中第六版
-
美国安全与新兴技术中心 2024 AI 生成代码的网络安全风险研究报告
-
国际原子能机构 2024 年世界聚变展望报告
-
复旦大学 2024 大语言模型的能力边界与发展思考报告
-
安盛 AXA2024 年气候与生物多样性报告气候过渡计划路线图
-
YouGov2024 美国公众对人工智能 AI 的态度调研报告
-
麦肯锡中国报告：《中国与世界》完整版
-
麦肯锡全球研究所 2024 下一代竞技场报告 - 重塑全球经济的 18 个新兴行业领域
-
Project Sid，一个旨在模拟多智能体交互以研究 AI 文明的项目
-
德国研究与创新专家委员会 德国研究创新与科技成果报告
-
2024 年欧洲关键产业的科技重塑研究报告
-
智能体专题报告之二 - 智能体时代来临具身智能有望成为最佳载体
-
ActivateConsulting 2025 年顶级技术和媒体发展趋势报告
-
兰德 全球灾难风险评估
-
斯坦福李飞飞 《AI agent 综述》Agent AI 开启多模态交互新纪元
