本文约6600字，建议阅读20分钟
本文将讨论人工智能技术带来的信任结果。
专家强调，人工智能技术本身在道德意义上并无好坏之分，但其应用却可能带来积极和消极的结果。
随着AI工具日益成熟和实用，各行各业的人迫不及待地将其投入使用，以提高效率、节省成本并辅助人类决策。但这些工具真的准备好面对现实世界的挑战了吗？正如漫画迷所知，“能力越大，责任越大”。AI 的普及引发了关于信任、偏见、隐私和安全的问题，而这些问题几乎没有明确、简单的答案。随着AI进一步融入日常生活，越来越多的学者、行业和普通用户开始审视其对社会的影响。过去五年里，AI 伦理学在工程师、社会科学家、哲学家等学术领域在蓬勃发展。加州理工学院科学交流平台（Caltech Science Exchange）与该校的AI研究人员探讨了需要什么条件，才能建立对人工智能的信任。要信任一项技术，你需要有证据表明它在各种条件下都能发挥作用，并且是准确的。加州理工学院教授易松岳（Yisong Yue）表示：“我们生活在一个高度信任的社会，很多系统都是建立在信任的基础上，而我们每天甚至不会特意留意它们。我们已经有方法来确保食品和药品的可信度。我认为 AI 并没有独特到必须完全重新发明一套规则。虽然 AI 是新颖和不同的，但我们可以从现有的最佳实践开始。”如今，许多产品，如儿童汽车座椅和电池等，都会附带安全保证，那么，这些保证是如何建立的呢？对于 AI 来说，工程师可以通过数学证明来提供保证。例如，无人机用于着陆的 AI 系统可以通过数学证明来确保实现稳定降落。然而，这种保证对于自动驾驶汽车来说却很难实现，因为道路上全是行为难以预测的人和障碍物。这时如何确保AI 系统在任何特定情况下的反应和“决策”是安全的，成为一项复杂的任务。工程师通过数学方法测试AI 系统的一个重要特性是其鲁棒性：即 AI 模型对数据收集过程中噪声或不完美之处的反应能力。加州理工学院计算与数学科学的布伦教授安尼玛·安南德库马尔（Anima Anandkumar）表示：“如果你需要信任这些 AI 模型，它们就不能过于脆弱。也就是说，即使添加少量噪声也不应该干扰决策。 例如，研究人员曾经在停车标志图像上设计了小小的瑕疵，从而导致 AI 将其识别为限速标志。显然，对于自动驾驶汽车来说，这样的错误是极其危险的。”当人工智能（AI）应用于社会情境，如刑事司法或银行系统时，会考虑包括公平性在内的不同类型的保障。清晰的指令
虽然人工智能被称为“智能”，但如今的 AI 并不能自主思考。它会严格按照编程指令行事，这使得工程师给 AI 系统的指令尤为重要。易松岳表示：“如果你没有给它一套好的指令，AI 所学到的行为可能会产生意外的副作用或后果。”例如，如果你想训练一个 AI 系统来识别鸟类，并为其提供了训练数据，但这些数据集中只包含了白天北美鸟类的图像。那么你实际上创建的系统是一个只能识别白天北美鸟类的 AI，而不是所有光照和天气条件下的鸟类。“要控制AI捕捉到哪些模式是非常困难的，”易松岳说。指令在AI 用于涉及人们生活的决策时尤为重要。例如，法官可能根据一个 AI 模型作出假释决定，而该模型用于预测某人是否可能再次犯罪。指令也用于将诸如公平性之类的价值观编程到人工智能模型中。例如，一个模型可以被编程为在不同性别上具有相同的错误率。但是，构建模型的人员必须选择一种公平的定义；因为AI 系统输出决策前，需要优先考虑某些公平衡量标准，无法做到“面面俱到”的公平性。透明性和可解释性
目前的先进AI 系统并不透明。经典算法是由人类编写的，通常被设计成可供其他懂代码的人阅读和理解。AI架构是构建来自动发现有用模式的，而人类很难，甚至不可能解读这些模式。一个模型可能会发现人类无法理解的模式，然后表现出不可预测的行为。加州理工学院教授亚瑟·阿布-莫斯塔法（Yaser Abu-Mostafa）表示：“从科学角度来看，我们并不清楚神经网络为何表现得如此出色。如果从数学角度来看，神经网络接触到的数据不足以达到目前的性能水平。”科学家正在努力研发新的数学理论，以解释神经网络为何如此强大。AI模型的解释性（或可解释性）是一个活跃的研究领域。为了使AI能够在现实世界中做出决策，人类用户需要了解影响系统得出结果的因素。例如，如果一个 AI 模型表示某人不应该获得信用卡或贷款，银行有义务向该人说明做出这个决定的原因。不确定性测量
另一个活跃的研究领域是设计能够感知并能向用户准确提供结果确定性度量的AI系统。正如人类会犯错一样，AI系统也可能犯错。例如，一个自动驾驶汽车可能会将一辆横穿公路的白色拖挂卡车误认为是天空。为了使AI系统值得信赖，AI 需要在为时已晚之前识别到这些错误。理想情况下，当AI面对不确定的决策时，提醒人类或某个辅助系统接管，这对设计 AI 的人来说是一个复杂的技术挑战。安尼玛·安南德库马尔指出：“许多AI 系统在犯错时往往过于自信。你会信任一个总是自信满满地撒谎的人吗？当然不会。校准这些不确定性是一个技术挑战。我们如何确保模型具有良好的不确定性量化能力，也就是说它能够在失败时表现得体，或者提醒用户它对某些决策没有信心？”适应 AI
当人们在日常生活中接触 AI 时，可能会根据对系统的理解来调整自己的行为。换句话说，他们可能会“利用系统”。当工程师设计并在实验室条件下进行测试时，这个问题可能不会出现，因此工程师可能不会考虑到避免这种情况。例如，社交媒体平台使用AI 推荐内容，而这些 AI 通常经过训练以最大化用户参与度。它可能会学习到更具挑衅性或更两极化的内容能带来更高的参与度。这可能会形成一种意想不到的反馈循环，即人们为了最大化参与度而被激励去创作越来越具挑衅性的内容——尤其是当涉及销售或其他经济激励时。反过来，AI 系统又会更加关注这些内容。同样，人们可能会有动机去篡改数据或对AI系统说谎，以达到预期的结果。加州理工学院计算机科学和经济学教授埃里克·马祖姆达尔（Eric Mazumdar）对这一行为进行了研究。他说：“有大量证据表明，人们正在学习如何操纵算法来实现自己的目标。有时，这种操纵可能是有益的，也有可能是有害的。我研究的一个重要部分就是设计能够对此进行推理的算法。目标是找到能够激励人们如实报告的算法。”AI 的滥用
“你可以将AI 或计算机视觉视为一种基础技术，它有无数种应用可能性，”加州理工学院艾伦·E·帕克特电气工程教授彼得罗·佩罗纳（Pietro Perona）说。“它有许多很棒的应用，但也有一些不良的用途。和所有新技术一样，我们会学会收获其好处，同时避免其滥用。想想印刷术：在过去 400 年里，我们的文明从中受益匪浅，但同样也存在一些不良书籍。”基于AI 的人脸识别技术已经被用来对某些种族群体进行定性分析，并针对政治异见人士实施打压。据联合国称，AI赋能的间谍软件已经侵犯了人权。此外，军事部门也使用 AI 来让武器更具效力和杀伤力。“当你拥有如此强大的技术时，人们总会想到一些恶意用途，”亚瑟·阿布-莫斯塔法（Yaser Abu-Mostafa）说。“网络安全问题已然泛滥，而如果将 AI 应用于其中会发生什么呢？这简直是‘增强版黑客’。如果落入不法之人之手，AI 很容易被滥用。”当我们思考谁在创造广泛使用的 AI 技术时，会出现关于权力、影响力和平等性的问题。因为运行复杂 AI 系统（例如大规模语言模型）所需的计算能力成本过高，只有拥有巨大资源的组织才能开发和运营这些系统。数据中的偏见
为了让机器“学习”，它需要有数据可供学习或训练。这些训练数据可以是文本、图像、视频、数字和计算机代码。在大多数情况下，数据集越大，AI 的性能越好。然而，没有任何数据集是完全客观的；每个数据集都带有固有的偏见、假设和偏好。并非所有偏见都是不公正的，但这个术语通常用来表示对某一群体的优势或劣势。虽然AI应该是公正的，但它并非人类，当它从数据集中学习时，可能会揭示并放大已有的偏见。以一个被训练用来筛选最优秀求职者简历的AI系统为例，如果它从以往的人力资源记录中学习，而该公司过去对男性员工的招聘和提拔率较高，AI 会学到男性更有可能成功，从而减少选择女性候选人简历的可能性。这样一来，人工智能就会将人类历史上的偏见编码化，加速有偏见或有缺陷的决策，并重现和延续社会的不平等现象。另一方面，由于人工智能系统具有一致性，使用它们可以帮助避免人类的不一致性和草率判断。例如，研究表明，医生对不同种族和民族群体的疼痛程度诊断存在差异。人工智能可以作为一种有前景的替代方案，从患者那里获取信息并给出无此类偏见的诊断。大规模语言模型（有时用于驱动聊天机器人）特别容易编码和放大偏见。大型语言模型，有时用于为聊天机器人提供动力，特别容易编码和放大偏见。当它们从互联网数据和与真实人的互动中进行训练时，这些模型可能会重复错误信息、宣传和有毒言论。一个臭名昭著的例子是，微软的聊天机器人Tay在推特上与人互动24小时后，学会了模仿种族主义辱骂和淫秽言论。与此同时，人工智能也在检测社交媒体帖子中的自杀风险和使用语音识别评估心理健康方面显示出潜力。AI 会背叛人类吗？
当人们想到AI的危险时，往往会想到《终结者》电影中虚构的、具有自我意识的、毁灭人类的AI——天网（Skynet）。在这种设想的情景中，一个AI系统发展出超越人类控制的能力，并发展出了起初并未被编程的新能力。“奇点”（singularity）一词有时用来描述这种情况。专家们仍在争论这种情况何时——以及是否可能发生，以及应投入多大资源来应对这一问题。牛津大学教授尼克·波斯特罗姆（Nick Bostrom）曾预测，AI 将会变得超级智能并取代人类。而加州理工学院的 AI 和社会科学研究人员则不太相信这种情况会很快发生。“即使概率很小，人们也会去研究这种情景，因为潜在的负面影响是巨大的，”阿布-莫斯塔法说，“但客观地说，根据我知道的迹象，我并不认为这是一个威胁。”“一方面，我们有这些新颖的机器学习工具，它们在某种程度上独立于我们的决策。另一方面，未来存在一种假设的人工智能，它将发展到成为智能的自主体的程度，”加州理工学院哲学博士后讲师亚当·范（Adam Pham）说道。“我认为将这两个概念区分开来非常重要，因为你会对后者感到恐惧，并错误地将这些同样的恐惧投射到现有的系统和工具上——而它们面临的伦理问题截然不同”研究如何避免人工智能反噬人类的最坏情况的研究领域被称为人工智能安全或人工智能对齐。该领域探讨的主题包括设计能够避免奖励篡改的人工智能系统，奖励篡改是指人工智能为实现其目标而采取的行为，这种行为虽然能为人工智能获得更多的“分数”，但并不能实现人工智能系统原本设计的目标。一篇论文中给出的例子是：“如果我们因为机器人让环境变得整洁而奖励它，它可能会关闭自己的视觉系统，这样它就看不到任何脏乱了。”其他研究方向，如构建带有“紧急情况下使用”的命令的 AI 系统。然而，超级智能的 AI 可能绕过这些应急机制。如何使 AI 值得信赖？
虽然让所有用户都认为人工智能绝对值得信赖并不现实，但研究人员和其他人士已提出了一些方法来提高AI 的可信度。佩罗纳说：“我们必须有耐心，从错误中学习，解决问题，并且在出错时不过度反应。向公众普及这项技术及其应用是至关重要的。”询问数据的问题
一种有效的方法是在部署任何人工智能系统之前，仔细审视其潜在的危害与偏见。此类审计最好由独立实体而非公司来完成，因为公司可能为了快速部署技术而倾向于加速审查。像分布式人工智能研究所（Distributed Artificial Intelligence Research Institute）这样的组织，会发布关于人工智能影响的研究并提出可供行业采纳的最佳实践。例如，他们建议为每个数据集附上一份数据说明表，详细介绍“数据集的动机、组成、收集过程、推荐用途”等。“问题在于如何将实验室中的数据集直接应用于现实世界，”安尼玛·安南德库马尔说，“在不同领域的测试还远远不够。”安南德库马尔指出：“你需要在每个环节都对算法进行审查，以确保不存在这些问题。这从数据收集开始，一直持续到最后，确保你的算法中不会出现任何可能出现的反馈循环。这真的是一项端到端的工作。”尽管人工智能技术本身只是处理和输出信息，但负面结果可能源于这些输出结果的使用方式。使用人工智能系统的是谁——是一家私营公司？政府机构？还是科学家？——他们又是如何根据这些输出结果做出决策的？“错误”的决策是如何被判断、识别和处理的？当公司将他们的人工智能系统卖给其他用途各异的使用者时，质量控制就变得更加难以实现。用人工智能改进人工智能
工程师们设计了可以在现实场景中发现偏见的人工智能系统，这些人工智能系统可以检测其他人工智能系统中的偏见，甚至检测自身的偏见。佩罗纳说：“无论人工智能系统可能存在何种偏见，它们都反映了社会中的偏见，这些偏见始于我们语言中所固有的偏见。”“要改变人们的思维和互动方式并不容易。但改变人工智能系统就容易多了：我们正在开发方法来衡量它们的性能和偏见。我们可以比对社会习俗的偏见，从而更客观、更定量地衡量机器的偏见。而且，一旦知道这些偏见的存在，修复人工智能系统的偏见要容易得多。为了进一步测试自动驾驶汽车和其他机械设备，制造商可以利用人工智能生成在现实生活中无法测试的危险场景，以及生成制造商可能想不到的场景。来自加州理工学院和约翰斯·霍普金斯大学的研究人员正利用机器学习创建工具，以构建更值得信赖的社交媒体生态系统。该团队旨在通过将计算机科学与量化社会科学相结合，来识别和防止在推特和脸书等平台上出现的网络钓鱼、骚扰和虚假信息。OpenAI开发的GPT-3是一种先进的大型语言模型，其团队提出了一种方法，允许人类使用少量的“基于价值观”的精选数据来调整模型的行为。这引发了一个问题：谁有权决定人工智能系统应具备哪些正确或错误的价值观？法规与治理
2023年底，欧盟通过了全球首个全面的人工智能法律监管框架。在美国，人工智能治理是政策讨论中的一个持续话题。虽然某些人工智能系统受到特定机构（如食品和药物管理局）的监管，但目前没有一个单一的美国政府机构负责监管人工智能。这使得公司和机构需要自愿采取安全保障措施。美国国家标准与技术研究院（NIST）表示，其“越来越注重测量和评估可信人工智能的技术特性”。NIST会定期测试人脸识别算法的准确性，但前提是开发该算法的公司提交了测试申请。未来，不同用途的人工智能可能会有相应的认证流程。易松岳指出：“我们对涉及人身安全并可能造成伤害的事物都有认证流程。比如飞机，每一个发动机部件、螺栓和材料都必须符合特定的资质标准，而飞机制造商会检查每个部件是否符合安全标准。但我们目前还不知道如何以同样的方式认证人工智能系统，但这势在必行。”加州理工学院汉斯·W·利普曼（Hans W. Liepmann）航空与仿生工程教授莫里·加布里埃尔（Mory Gharib）说：“你基本上要把所有人工智能都当作一个社区、一个社会来对待。我们需要制定一些协议，就像我们的社会有法律一样，人工智能不能越界，以确保这些系统不会伤害我们、它们自己或第三方。”引入“人类在环境”的理念
一些人工智能系统负责自动化流程，而另一些则用于预测。当这些功能结合时，会形成一个强大的工具。但如果自动化决策没有人类的监督，偏见和不公问题更容易被忽视。这就是“人类在环”（human in the loop）这一术语的意义所在。人类和机器可以协作，以提高效率，同时在结果中融入用户的价值观。让一群多元化背景的人类参与到人工智能系统的创建中也非常重要。早期的人工智能主要由工程师、数学家和计算机科学家开发，而如今，社会科学家等其他领域的学者也越来越多地从项目一开始就参与其中。“这些已经不再仅仅是工程问题了。这些算法与人进行交互，并做出影响人们生活的决策，”马祖姆达尔说道。“传统的人工智能和机器学习教学方式没有考虑到，当你在现实世界中使用这些分类器时，它们就成了这个反馈循环的一部分。你越来越需要社会科学家和人文领域的人参与设计人工智能。”除了学术观点的多样性外，人工智能的研发还需要身份和背景的多样性，以便全面考虑该技术可能对社会和个体产生的各种影响。然而，该领域在很大程度上仍然保持着同质性。“拥有多元化的团队非常重要，因为他们能从不同的角度和经验出发，预见可能产生的影响，”马祖姆达尔在《激进人工智能》（Radical AI）博客中说。“一个人不可能想象出人工智能等技术所有可能的应用方式。只有当团队多元化时，我们才能提出创新的解决方案，并且能在人工智能部署之前就预见到可能出现的问题。”
原文标题：
Can We Trust Artificial Intelligence?
原文链接：
Trustworthy AI: Should We Trust Artificial Intelligence? - Caltech Science Exchange
编辑：王菁
夏舒淇，情报学硕士生在读，喜欢人文之情的感性与数据之理的理性。望远山而前行，知不足而奋进。未来希望能更多“置顶”学业，奔向天高海阔的明天。
工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。
你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。
其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。
点击文末“阅读原文”加入数据派团队~
转载须知
如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。
发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
