AI Act与GDPR框架下的算法歧视

一些人工智能系统可能会造成歧视，并损害个人的基本权利。

• 生成式人工智能系统 ：某些生成式人工智能系统，比如聊天机器人，乍一看似乎并无危险，但仍然可能对基本权利和自由构成威胁，例如当它们生成仇恨言论的时候。生成式人工智能本身并不被归类为高风险。然而，正如《人工智能法案》所规定的，一些损害基本权利的生成式人工智能系统可能会被列入监管机构可以定期更新的高风险系统名单中。

• 自动驾驶汽车 ：在保险计算或人工智能机器视觉系统中也可能出现歧视情况 —— 例如，如果自动驾驶汽车的研发方式导致其对肤色较浅行人的检测精度高于对肤色较深行人的检测精度。

• 招聘与就业 ：筛选求职者的算法可能存在偏见，例如在性别或健康方面。

• 信用评分与银行业务 ：人工智能系统越来越多地被用于银行和信贷领域，作为评估贷款或抵押贷款发放的辅助工具。这些系统所遵循的决策过程可能隐藏着基于客户居住地或种族等因素的歧视或掩盖了相关偏见。

《人工智能法案》旨在解决上述问题。为确保人工智能系统中的偏见检测和纠正，《人工智能法案》第 10 条第（5）款允许在 “为确保对高风险人工智能系统进行偏见监测、检测和纠正这一目的，且在严格必要的范围内” 处理特殊类别的个人数据，但以采取适当保障措施尊重基本权利为前提条件。

特殊类别的个人数据这一概念在《通用数据保护条例》第 9 条中有定义（包括种族或民族出身、政治观点、宗教或哲学信仰、工会会员身份、基因数据、生物识别数据、健康数据、性生活或性取向）。一些学者指出，要检测在就业领域使用的算法是否存在基于种族的歧视，原则上，相关机构需要了解求职者的种族信息。

《人工智能法案》第 10 条第（5）款仅适用于高风险系统。该法案采用了 “基于风险的方法”，即根据人工智能系统对个人基本权利和自由构成的风险程度对其进行分类。在确定一个系统是否属于高风险系统时（《人工智能法案》第 6 条），重点在于特定系统的范围及其所执行的具体任务。

要处理特殊类别的个人数据，必须遵守《通用数据保护条例》第 9 条中列出的特定理由（例如，数据主体的明确同意）。在适用《人工智能法案》第 10 条第（5）款时也必须遵守这些理由，因为该条款属于《通用数据保护条例》第 9 条的适用范围。

该法案明确规定，当《人工智能法案》与《通用数据保护条例》发生冲突时，《通用数据保护条例》优先适用，并明确指出《人工智能法案》的条款不得影响《通用数据保护条例》的实施。

一些人认为，根据《通用数据保护条例》中 “重大公共利益理由”，依据《人工智能法案》第 10 条对个人数据的处理也可能是被允许的。实际上，《通用数据保护条例》第 9 条第（2）款第（g）项允许在以下情况下处理特殊类别的数据：

“基于欧盟或成员国法律，出于重大公共利益的原因而有必要进行处理，且该处理应与所追求的目标成比例，尊重数据保护权的本质，并规定适当且具体的措施来保障数据主体的基本权利和利益。”

在这种情况下，《人工智能法案》将作为相关的欧盟法律，而打击歧视将是相关的公共利益。