来源：知产前沿
作者：华劼
同济大学上海国际知识产权学院 副教授&博士生导师
人工智能驱动系统的复杂性迅速激增，已经发展到人类不了解人工智能系统如何工作和做出决策的程度。人工智能系统中不断增长的自主性、复杂性和模糊性持续增加对人工智能产品或输出，如预测、决策、行动和建议的可解释性、透明度、可理解性和可解释性的需求。规制人工智能的最主要难题之一为算法黑箱，算法黑箱是指算法提供了聚类或预测结果，却不能解释这些结果是如何形成的，错误的输出结果正是源于错误、不准确、有偏见的训练数据，计算机术语将其俗称为“无用数据入，无用数据出”（garbage in, garbage out）。
[1]
例如依赖于机器深度学习的深度神经网络（deep neural networks）可能有数百万个参数，人类根本无法理解网络中每个个体值，使用神经网络的训练过程可能导致网络参数设置为难以与结果相关的数值。此外，有时数据值的微小变化可能会导致解释的巨大变化，导致系统将校车与鸵鸟混淆。
OpenAI
开发的大型语言模型ChapGPT-3有1750亿个参数，
[2]
其大型模型的内部训练更超出人类理解范畴。人工智能有可能在某些指标上实现高水平性能，却未实际学习正确的区辨。例如，图像分类器可以通过观察背景颜色而不是动物区分老虎（背景是草）和北极熊（背景是雪），这类图像分类器的正确率可达95%甚至更高，但它却无法正确识别雪地里的老虎。
[3]
此外，算法黑箱还易引发算法偏见。用于训练人工智能算法的数据可能因其属于受版权保护的表达而让人工智能使用该训练数据受到限制，诸如Facebook或IBM等大公司可通过取得用户授权组建训练数据或合作购买训练数据，以尽量形成庞大的训练数据解决使用训练数据受限的问题。但即使训练数据庞大，仍因用户性别、年龄、种族、职业等因素不同带有用户自身表达的偏见；而众多中小公司只能使用不受版权保护限制、已过版权保护期、处于公有领域的作品作为训练数据。
[4]
如果人工智能以公有领域文学作品为训练数据进行分析处理，可能会产生二十世纪前的社会偏见，忽视黑人、女性和少数群体的观点和意见。
[5]
现实中人工智能已出现预测偏差的情形，COMPASS是一款用于评估美国刑事被告的算法风险分数工具，根据刑事被告对问卷的回答预测被告再犯刑事案件的危险程度，这款工具将种族和性别特征作为了预测的主要指标，导致预测结果更偏向于认定黑人和女性被告更危险。
[6]
监管人工智能的主要目的是实现预期目的的安全最大化和危害最小化，这需要在监管不足和过度监管之间实现巧妙的平衡。监管不足会使公众面临人工智能潜在的危害，过度监管又无法发挥人工智能企业的创新，阻碍人工智能产业的发展速度和实现人工智能的真正潜力。监管人工智能的最大挑战在于，每一人工智能系统都有其复杂性和程序性。从监管角度看，人工智能系统不仅包括程序本身，还包括训练数据以及现实世界中的使用边界等，因此不可能简单地依据人工智能模型类型或使用算法进行监管，相同类型模型可能被应用于非常不同的场景，产生非常不同的影响。例如深度卷积神经网络可被用于检测癌症，也可被用于人群监测。以相同监管程度审查人工智能系统在每一处不同场景中的应用显然是不恰当的。
2021年4月21日，欧盟委员会公布了名为“Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts”的提案
（以下称《人工智能法案（提案）》）
，延续“基于风险”的监管理念，对人工智能技术应用进行风险划分。
[7]
《人工智能法案（提案）》将人工智能应用场景分为“最低风险、有限风险、高风险、不可接受的风险”四个风险等级，等级越高的应用场景受到的限制越严格。欧盟议会于2023年6月14日通过《人工智能法案（审议稿）》，欧洲议会、欧洲理事会和欧盟委员会于2023年12月8日就审议稿达成协议并进入下一步立法程序，
欧洲议会于2024年3月13日正式通过《人工智能法案》
，预计法案将于2025年初生效，2026年正式实施。
[8]
《人工智能法案》建议对人工智能进行一种平衡和相称的横向监管方法，仅限于解决与人工智能相关风险和问题最低必要要求，而不过度限制或阻碍技术发展，或以其他方式不成比例地增加在市场上提供人工智能解决方案的成本。法案明确禁止“不可接受风险”人工智能在欧盟境内使用；对高风险类人工智能使用规定有风险管理；有限风险类人工智能系统需满足透明度义务，例如告知用户某项内容是人工智能生成的；最低风险类人工智能系统可在欧盟境内使用，无需遵守任何法律义务。
[9]
需要注意的是，法案尚缺乏实质性的理由判定如何确定将一个人工智能系统分配到特定的风险类别，这种缺乏明确风险分类标准是有问题的，尤其是将某一新人工智能系统界定为高风险系统时。
[10]
因此，如何界定高风险人工智能系统成为监管人工智能的关键点之一，人工智能风险分类应基于人工智能的性质以及人工智能对人类和社会的影响，包括风险和危害的可预见性，以及为减轻这些可预见风险所采取措施的合理性。可解释人工智能技术可辅助区分风险监管人工智能系统。
可解释人工智能技术
（Explainable Artificial Intelligence，简称XAI）
是指产生准确、可解释的人工智能算法为什么以及如何做出特定决策的方法和技术，以便人类能够理解人工智能解决方案的结果。
[11]
可解释人工智能技术提供了区分风险监管人工智能系统所需的可理解性和透明度，通过以下属性来提升信任度：
1）可信度，通过解释人工智能输出可转移性的原理和特征来获得人类对人工智能模型的信任，其中对人工智能模型的解释可使人类更好地理解模型，从而将模型准确转移至另一应用或领域上；
2）信息性，告知用户人工智能模型如何工作，以避免任何误会；
3）信心，通过拥有一个稳健、稳定和可解释的模型来支持人类部署人工智能模型的信息；
4）隐私意识，确保人工智能和可解释人工智能技术不会泄露隐私数据，可通过数据匿名化实现；
5）可操作性，可解释人工智能技术除了提供结果的原理外，还提供关于用户如何更改操作以产生不同结果的指示；
6）量身定制（以用户为中心）的解释，允许人类（作为不同知识背景的人工智能系统用户）通过基于角色、目标和偏好的量身定制的解释来理解基于人工智能系统的行为和预测。
[12]
因此，可解释人工智能技术为复杂模型的决策提供了解释的工具，解释的目的是促进人类对决策过程的理解，解释增强了人类对人工智能系统的信心，促进了人工智能系统监管的安全、道德与公平，强化了可解释性在人工智能监管中的运用。解释应用人类的术语和概念，而不是技术性的话语。解释不仅应说明哪些数据要素被用于决策，还应分析这些数据支持的不同结果，因为不同信息往往导致不同甚至相互冲突的结果。解释还应考虑到监管机构、人工智能系统开发者和用户之间不同的解释要求。例如，数字关键基础设施在欧盟《人工智能法案》中被列为高风险人工智能系统，企业应实施风险合规管理，可解释人工智能技术首先对于更广泛层面的监管机构，可详细说明人工智能开发过程和做出的重大选择，这些选择包括在设计人工智能时做出的选择、人工智能决策的广泛架构以及考虑的重要因素。可解释人工智能技术其次可向法院解释人工智能系统如何以及为什么造成道路事故，以及在进一步迭代中采取补救的方法。
[13]
可解释人工智能技术同样可降低算法偏见风险，如果使用可解释性工具，潜在算法偏见可能在该工具投入使用前就已经暴露出来，并且可在数据训练前采取适当的措施，如从数据中编辑任何与性别相关的术语，消除此类偏见。
可解释人工智能技术可在不同风险场景中解释人工智能系统如何工作，是否符合预期。例如在医学成像中，医生已经知晓他们在寻找什么，如果得到人工智能系统的解释，可以验证人工智能系统是否学会了正确的规则。
[14]
在人类无法预测结果且不知道最佳应对策略的开放领域中，例如某些博弈游戏中，人工智能系统的表现会超过人类，尽管人类不知道人工智能系统是如何做出决策的，可解释性有助于揭露和验证人工智能没有做坏事，增加人类对某一领域的了解，且从监管角度而言确保人工智能系统与人类的目标保持一致，通过揭示如何实现良好绩效来提高行业标准和人类知识。
[15]
此外，可解释性技术能保证人工智能系统在遇到不可预期情形时正确行事，当人工智能系统遇到这类情形时，会产生不可预见的影响，如果内部的决策系统通过可解释性工具来理解，则可预见人工智能系统会按预期方式工作。可能产生不可预见影响的场景主要包括医疗和交通，可解释人工智能技术对此类场景至关重要，该类技术可检查人工智能系统如何对不可预期场景做出反应，在失败的情景尽可能多的进行测试，以及在错误不可避免时审查和修改系统。
[16]
欧盟委员会设立的人工智能高级别专家组发布的《值得信赖的人工智能道德准则》将可解释人工智能技术纳为构建值得信赖的人工智能系统技术性方法之一。其提到，为了使人工智能系统值得信赖，必须理解该系统以何种方式表现，可解释性涉及解释人工智能系统的技术过程和相关人类决策的能力，其要求人工智能系统所做的决策能够被人类理解和追踪。必须在增强系统的可解释性（这可能会降低其准确性）和提高其准确性（以可解释性为代价）之间进行权衡。每当人工智能系统对人们的生活产生重大影响时，应该可以要求对人工智能系统的决策过程做出适当的解释。此类解释应及时，并根据利益相关者的专业知识进行调整。此外，应提供关于人工智能系统影响和塑造组织决策过程的程度、系统的设计选择以及部署技术理由的解释，从而确保商业模式的透明度。
[17]
