“算法黑箱”制造歧视，非机器决策方式可以矫正算法歧视，这是目前学术界对算法歧视及算法决策的误读。研究指出，基于对歧视规制标准的历史性分析，歧视管制是演进性过程，符合工具理性与价值理性的追求。需要结合当前时代与我国特定背景，引入歧视认定的差异性影响标准，当特定受保护群体认为存在不利影响时才认定歧视现象的存在。基于对引入算法作为决策方式的成本收益分析，可以发现，以人类的非自动化决策作为参照系，算法决策能够消除人类智能的决策噪声，特别是对弱势群体而言，信息披露的增加可能会促进决策准确性，避免大范围群体性歧视的出现。而算法决策的误差在人类决策中也同样存在，且部分决策成本远非算法决策方式的过错，而是技术发展尚不成熟导致的。因此，在算法规制的过程中，应当转变算法厌恶和技术质疑的认知偏差，引入市场逻辑与治理架构，创新主体责任。
关键词：算法歧视；算法决策；自动化决策；技术信任；正当程序
算法歧视是学术界对于“算法产生歧视”的简易表述，而非传统的法律专有术语，因而语义具有模糊性和不同指向。算法歧视一词在学术研究中有两种指代。第一类，以算法便利之名行算法歧视之实。网络服务提供者主张算法能够提高决策效率，便利决策过程，却在实际决策中纳入个人偏好等因素。具有偏向性的算法超过合理限度后，对相类似的用户提供不同的服务，算法成为实施、扩大歧视性行为的手段。“算法透明”“算法可解释”“算法向善”等合规要求难以成为算法设计者和使用者的“紧箍咒”。所谓的“技术中立”“价值无涉” 等理念，成了歧视性决策、不公平待遇的“避风港”。第二类，以“个性化推荐”之名行“大数据杀熟”之实。网络服务提供者，特别是销售商品、提供服务的网络服务提供者，借用互联网技术令完全价格歧视得以实现。借助算法，浏览和购买记录、消费习惯和消费心理、兴趣爱好和个人偏向，都能被准确捕捉、识别、分析，消费行为无所遁形。平台识别个人准确的支付意愿，实施差异化的定价策略；更进一步，平台通过价格诱导、重复报价、虚假报价等方式，引导消费者的错误认知，扩大价格歧视的影响范围。价格歧视的分析更多的是回归法经济学的传统分析思路，从经济学的效率分析、规制必要性等层面讨论价格歧视规制的必要性。
本文将聚焦于第一类算法歧视的讨论，即“以算法之名行歧视之实”。“大数据杀熟”问题在本质上与传统的“价格歧视”并无实质性差异。算法的功能主要是利用大数据收集和分析，将原本只存在于理论中的一级价格歧视产生实际的“杀熟”结果。行为人使用算法和数据的目的就是价格歧视，最终也的确产生了攫取消费者利益的结果。从这个角度看，算法并没有改变价格歧视的本质。而算法技术改变了歧视行为的运行逻辑，产生了第一类歧视。首先，第一类算法歧视的歧视结果不一定是决策者想要的。自动化决策方式本身存在被误读的可能，算法设计者本身或许无意对任何人实施歧视行为，算法使用者只是希望加快决策效率、有效筛选目标对象。而在第二类歧视中，算法设计者、使用者的目的与算法的结果相一致，即“大数据杀熟”结果是行为人所追求的。其次，对于大数据杀熟而言，针对不同人的不同价格是可以直接观察到的，而第一类算法的决策结果是隐蔽且难以观测的，连决策结果都观测不到，更遑论证明决策结果的歧视性了。最后，第一类算法歧视的判断标准更加模糊。第一类算法歧视的决策合理性与传统的歧视理论有相应的联系，合理差异与歧视行为的界限更加模糊，而在价格歧视的语境下，不同的价格是否有合理正当的商业理由，显然容易判断一些。本文将以第一类算法歧视为研究对象，剖析算法歧视规范的演化逻辑，厘清算法时代歧视现象的认定标准，阐释算法歧视管制的基本思路，提出算法决策规制的新思路。
算法歧视的研究和宣传铺天盖地，几乎每个稍微关注算法发展、了解一点算法知识的人，都能察觉到算法歧视的“严重危害性”，对算法的歧视问题忧心忡忡。仔细爬疏算法歧视的研究和宣传，至少存在以下三个问题。
第一，关注严重个案的不利后果，忽视算法应用的整体效用。在算法歧视的研究中，鲜有通过整体性分析来剖析算法歧视的发生概率、实际效用的，更多是强调算法歧视个案带来的“毁灭性”消极后果。在算法歧视领域的经典著作《自动不平等——高科技如何锁定、管制和惩罚穷人》一书中，尤班克斯列举了美国三个公共决策“自动不平等”的典型范例，印第安纳州试行的福利资格自动化处理程序、洛杉矶政府的“弱势指数—— 服务优先化决策辅助工具”和阿勒格尼县的家庭筛查评分工具。在以上三个例子中，均存在着种族刻板印象、工作人员不专业等问题，最终导致福利发放、弱势救助和风险预防的判断结果都存在偏误，导致本该受到帮助的弱势群体陷入更加不利的地位。借此，作者提出了“数字济贫院”的概念，并指出，我们每个人都有可能成为穷人，这种以服务为名的不当管理、以科学统计为名的异化分析，有可能让我们每个人都成为被歧视者。通过渲染个案的严重后果，让读者代入穷人角色，说明自动化决策的负面影响。这种启发性风险感知是存在偏差的，极易忽视自动化算法应用的整体效用。一般而言，我们判断一件事情发生的后果，应该考虑事件发生的概率，包括基础性概率和调整后的概率，再结合发生后果的严重性，综合分析事情的损害结果。而这种启发式感知，阻断了理性分析思路，让我们对风险的判断关注感受最强烈的时刻（peak-end），因此会用最差的结果来判断风险发生的结果。因为代入了文中的穷人角色，所以我们会主观上认定自动化决策极易产生极端的严重后果。
第二，关注国外语境的具体案例，忽视本国算法应用的实际情形。到目前为止，关于算法歧视的研究，更多以国外的案例和既有研究作为基础范本，很少关注我国的具体案例。例如，在自动化决策的就业歧视中经常被引用的案例，亚马逊所开发筛选简历程序，被指控根据公司长期已有的重男轻女现象，将对女性的歧视内化为算法程序的一部分；且亚马逊已于2017年初被迫放弃了这一算法。相反，我国鲜有企业在直接招聘时引入自动化决策算法，并因此引发就业歧视的争议。在算法歧视的问题上，常被用来作为参照的是美国算法歧视研究，这种援引实际上忽视了我国和美国的制度性差异。一方面，美国的数字化决策和电子政务与我国的发展进程不一致。在20世纪末，美国已经完成“数据库国家”（database nation）的转型，以社会保障号码（Social Security Number，SSN）为核心的社会管理体系已初见成效，税收、驾驶执照、医院、学校、图书馆、信贷体系均围绕着社会保障号码展开。有统计表明，截至2018年，美国联邦政府已在网上发布了近20万个可供搜索的数据库。自动化决策的风险评估工具已经在缓刑、假释、量刑等司法领域中广泛使用。相反，我国并没有在公共社会决策中，将自动化决策作为首要管理手段。另一方面，美国是典型的移民国家，其民族问题具有更多的特殊性，处理好外来人口与本地土著居民在种族、习惯等方面的冲突，是美国宪法的重要课题，因此，美国对于结构性的种族不平等、种族隔离和种族歧视问题特别敏感。而我国五十六个民族本来就生活在同一片土地上，各民族之间相互融合、相互交流，在民族问题上远没有美国那么尖锐。
第三，关注表面的差别待遇，忽视平等权和歧视问题的实质内涵。反对歧视问题的基础性理由在于平等权，“公民在法律面前一律平等”。因此，差别性待遇，特别是不合理的差别性待遇将有可能被认定为歧视，并被指责打破“人人平等”的基本社会规范。而算法技术运用的核心思路是，通过广泛的数据运算和分析，作出针对性的、个性化的推荐，以适应不同用户的不同需要。算法差别性的运行逻辑与对不同主体施加同等待遇的平等逻辑是相悖的。当大数据的运行逻辑转移到社会招聘、福利发放乃至司法裁判中，差别待遇的感受将被无限放大，对决策结果不满移转到算法头上。甚至认为算法决策过程的黑箱、评价标准的武断与决策影响的不均等，让少数群体处于更加不利的境地。据此，算法似乎成了歧视现象的“罪魁祸首”。甚至有学者认为算法歧视是一种新类型的歧视，令平等权的保护更加困难。实际上，算法的差异性结果可能只是社会偏见的一种折射，如果把关注重点全放在算法和差异性结果上，会忽视社会平等问题的本质内涵，将算法当作社会歧视的“替罪羊”。
随着算法治理规范的出台与落地，算法不再是“野蛮生长”的“法外之地”。我国现行法律对于算法歧视问题的规制方式主要有两类：一类是对自动化决策行为和结果的规范，另一类是对自动化决策工具——算法和服务提供者的规范。这两类规范方式思路上存在惯性思维，即将算法黑箱当作算法歧视的症结，将算法透明与人类决策介入当作算法歧视的良方，但这种规制思路既未准确识别算法歧视问题的症结所在，也未深入分析算法技术的运行逻辑。
⒈对自动化决策行为的规制
对自动化决策行为的直接规范集中于《个人信息保护法》。首先，《个人信息保护法》明确了自动化决策的含义，是指借助计算机程序分析、评估并决策的活动。其次，《个人信息保护法》对自动化决策行为过程作出要求，要保证决策过程的透明度。在商业营销、推送中，提供“不针对个人特征的选项”或者“便捷的拒绝方式”。而在对个人权益有重大影响的决策中，受处理者可以“要求说明”并“有权拒绝仅通过自动化决策的方式作出决定”。此外，在利用个人信息作出自动化决策前，应当实施个人信息影响保护评估。再次，自动化决策的结果应当公正，“不得对个人在交易价格等交易条件上实行不合理的差别待遇”。最后，特殊领域的自动化决策有特殊的行业规范，例如工业和信息化领域，应当取得相应的经营许可，并加强访问控制，避免信息泄漏；智能网联汽车企业应当对数据合作方的数据安全能力进行审核评估。
此类监管以行为控制为核心，通过对自动化决策的过程和结果两方面的控制，保证决策过程的透明、决策结果的公平公正。此种规范方式至少存在以下三个误区。首先，对个人决策的信任超过机器决策，也就是说，认为非自动化决策能够纠正自动化决策的偏误，自动化决策是歧视出现的重要原因。因此，在涉及“重大影响”时，可以选择拒绝机器决策。其次，过分信任算法透明和算法获解释权的效果。“算法黑箱”意味着，即使能够了解算法的运行机制和基础数据，算法结果仍是不可知的。只要算法决策的基本机制未发生根本性转变，算法从技术上不能实现完全的透明。更重要的是，普通的公共决策和商业决策也是不透明、不准确的，所以不一定只有算法透明才是算法规范的最优解。最后，没有真正深入分析算法歧视问题，特别是缺乏场景化的分析。虽然对自动化决策作出了简单的分类，可以分为商业推送和“具有重大影响”的自动化决策，但并没有指明“重大影响”的含义，也没有分析算法在歧视中的实际性作用。
⒉对自动化决策算法的规制
对自动化决策算法的规制主要包括“算法向上向善”和“不得发布歧视性内容”。2022年3月10日，中共中央办公厅、国务院办公厅联合印发《关于加强科技伦理治理的意见》，明确提出在科学研究、技术开发等科技活动的全过程中，应当做到“伦理先行”。在算法设计、训练数据、生成模型、优化服务的过程中，采取有效的措施防止民族、信仰、性别等方面的歧视。在算法内容的呈现中，不得制作、复制、发布、传播反对宪法平等原则、煽动民族歧视的内容。此类规制直接针对自动化决策算法结果的非歧视性，要求自动化决策算法的全过程不得包含歧视性的引导倾向。而此类规制仍然是不充分的，“算法向上向善”和“算法伦理”的规制是原则性的， 在应对以算法之名的歧视时显得有些捉襟见肘。另外，将主要责任都归因于算法，没有真正地回应和解决算法歧视问题，还容易让歧视行为实施者躲在算法后高枕无忧。因此，无论是决策行为还是决策算法的规制，均未触及算法技术与歧视行为的底层逻辑。
二、算法歧视规制的演生逻辑：
工具理性与价值理性的衡平
政府对算法歧视的规制既要满足工具理性的需要，又要符合价值理性的指导。工具理性，又称为目的理性（purpose-rational conduct），指为实现某种特定目的，行动者理性地考量目标、条件与手段，采取某种特定的行为方式；价值理性（value-rational conduct），指行为由绝对价值的自觉信念决定（conscious faith in the absolute worth of the conduct），诸如伦理、美学、宗教等标准。
在歧视管制的过程中，既要满足工具理性的要求， 对算法的“歧视性行为”作出适当规制，确定管制手段的合目的性和适当性，避免算法成为歧视行为的“遮羞布”；同时，国家目的、社会公共利益等因素应当纳入考量，不能盲目地拒绝所有的算法决策和分类、评分。
⒈歧视管制手段与目的的适当性
歧视管制是一种工具理性行为，反对歧视不仅取决于对目的或者价值造成的伤害严重性，而取决于手段与目的之间的适当性。理解歧视管制可以分为三个层次。一是平等的理想状态，即平等对待原则。二是平等的现实状态，即区别对待不同对象。一旦褪去感情色彩，“歧视”摇身一变，成为分类对待的问题。三是在平等的现实状态中，确定行为界线的合理性。一般来说，歧视通常包括两个特征——歧视标准由行为人随意决定，歧视标准与社会公共利益无关。因此，歧视管制并不要求解决所有的差别待遇，而只需要处理那些未能实现社会制度价值的“歧视行为”。
受工具理性的观念影响，算法对不同歧视类型回应能力相异，算法歧视的管制手段也应因地制宜。当“歧视现象”可以通过规范规制时，歧视管制是有效的，应当注意管制手段与目的的适当性；而当“差别待遇”是由于概率性等因素实现，规范介入也无济于事时，既然管制手段未能实现管制目的，应当适当容忍这部分差异。在算法歧视的问题中，偏好性歧视（taste for discrimination）指雇主对被雇佣者群体有着天生的偏好，即使用工成本会因此而增加，仍然 选择雇佣其所喜欢的群体。按照经济学的理论，在充分竞争的市场上，偏好性歧视是难以长期维系的，因为非歧视的公司能以更低的成本生产，歧视者最终会被逐出市场。而问题是，市场力量是有限的，充分竞争的市场只存在于经济模型当中。现实中，市场可能因为信息不对称、负外部性等原因，未能实现歧视现象的自主化解。更重要的是，歧视的影响已经产生，难以再通过事后的手段补救。目前，算法模型存在无法识别的歧视，例如将雇主偏好内化于算法之中，或者错误地将歧视动机归因于善意但有偏见的决策者。此类问题可以通过优化算法决策结构、培育算法竞争市场等方式加强算法管制。
统计性歧视的思路与算法分析的大数据思维不谋而合，很难规制。统计性歧视（statistical discrimination），又称理性歧视，指雇主为了避免识别成本，基于经济统计数据，选择更不容易出现问题的群体。例如，普通女性在生理或情感上可能更不适合战斗，要筛选出合适的女性成本过高，所以国防部可能会理性地将所有女性排除在作战工作之外。算法思维的本质就是通过广泛的数据，对未来情况作出最可能发生的结果预测，基于已有的信息作出的未来预测。再怎么强化对算法的规制，仍会出现统计性歧视的问题，换句话说，统计性歧视是算法技术的组成部分，除非摒弃算法决策，否则难以规制。且这种具有经济理性的“差别待遇”具有一定的目的正当性，应当适当放宽对此类歧视的管制，容忍此类歧视行为的发生。
⒉歧视管制服务于特定社会目的
“工具理性仍应当以价值理性为依归”。法律通常不仅被理解为实现其他目的的工具，法律行为本身是有价值导向和价值追求的，而非仅是实现单一目的工具。因此，歧视管制不完全以经济理由和工具理性为依据，必须在某种程度上服从于它所服务的社会目的。人类想要与机器和谐共处，不落入“算法歧视”的窠臼，必须超越工具理性的认识，弥合人与机器之间的不连续性。
在歧视管制的问题上，歧视管制既可能符合工具理性，也可能同时符合价值理性。1954年，布朗诉美国教育委员会一案质疑了臭名昭著的“隔离但平等原则”，裁定“隔离教育设施具有内在的不平等”，违反了第十四修正案。1964年，美国《民权法案》通过，第七款明确规定， “基于种族、肤色、宗教信仰、性别或者来源国而产生的歧视性行为是不合法的。”该条款曾经引发过是否符合经济理由考量的争论。波斯纳认为，该法案在道德角度可能是正确的，但基于执法成本导致的社会经济效率无谓损失，不足以经济理由为其辩护。换句话说，波斯纳认为，歧视管制完全是追求某种社会价值，而必然以经济效率损失为代价。但多霍诺却认为，虽然在短期内该法案可能降低社会福利，但长期来看，不同种族之间交易能够让交易双方共同受益，可实现历史维度上社会福利的帕累托改进和帕累托最优。也就是说，多诺霍观点中歧视管制行为同时符合工具理性与价值要求，即采用适当手段追求适当目标。从这场讨论可以看出，歧视管制至少在某些程度上是符合经济理由的，但歧视管制的行为也并非完全取决于经济理由。歧视行为可能符合工具理性和经济效率标准，但更多意义上，歧视管制是社会政策使然。
从法律层面或者常识层面，尝试定义歧视的过程应当遵循工具理性与价值理性。算法歧视认定问题是归因问题，当筛选规则适用于不同群体时，差异可能源于优化决策结果，或对特定受保护群体有目的性的影响。在歧视证明标准上，曾经出现过标准反复与制度变迁。理解歧视标准的变迁历程，对算法时代歧视行为的认定有借鉴意义。
⒈差异性待遇证伪：反分类与反屈从原则的价值互动
歧视行为的认定标准中蕴含着某种绝对价值的特定指向，但这种价值指向并非一成不变，随着时间的演进而在不同的价值标准之间互相变换。以对差别性待遇和歧视问题探讨最多的美国为例，理解不同原则之间的价值互动，有助于我们更好地确立中国的反歧视规则。
在美国反歧视的历史中，反分类规则与反屈从规则此消彼长、相互影响，经历了一个从反分类规则向反屈从规则演进，反屈从规则又受到限缩的历史过程。差别性对待标准与差别性影响标准相互博弈，工具理性与价值理性的有机互动，构成了完整的美国反歧视法。反分类标准（anticlassificationprinciple）是经典的个人权利分析架构，考虑差别待遇的目标、条件与手段之间是否得当，如果差别待遇的标准最终落脚到特定个体的群体性分类上，即可认定为歧视。此种歧视标准被称为反归类原则，基于受保护对象的归类，赋予不同对象差别性待遇的行为，属于歧视行为；任何对此种差异的承认，诸如“隔离但平等原则”，均属对歧视行为的延续和支持。“色盲”（color blind）隐喻即表达了反分类标准的重要意涵。法官应当是“色盲”的，忽视受保护对象的阶级地位，对所有人一视同仁，而不论受保护对象是不是处于不同的社会地位。这种标准偏向于“工具理性”思维模式，只要不存在差别性待遇行为（disparate treatment），平等对待所有人，就不构成歧视。
反屈从原则（antisubordination principle）则认为，在根源上社会分配是不公平的，社会结构和实践往往限制了历史上被排斥的群体获得成功。实际上，社会是蕴含不同种族底色的父权制社会（racial patriarchy），黑皮肤的民族和白皮肤的民族、女性群体和男性群体，并不处于相同的社会地位。在这个标准下，排斥黑皮肤的民族与排斥白皮肤的民族同样令人反感，甚至排斥白皮肤的民族，因为受影响的群体范围更广、会产生更大的反对声音，诸如“逆向歧视”行为被广泛讨论。在社会地位并不平等的前提条件下，单纯的同等对待并不能真正保护弱势群体。如果某项政策对某个群体产生了不成比例的消极影响，且不具有商业合理性，则构成歧视，特别是当某种行为产生延续社会等级制度、压迫历史弱势群体的效果时。反屈从规则更像是“价值理性”在歧视认定中的具体面向，坚持认定标准的实质公平。以上两种标准曾在不同时期中呈现主流地位。1868年美国宪法第十四修正案通过。其中第一条通常被称为“平等保护条款”，该条款指出，“任何州不得制定或者执行贬损美国公民权利的法律；任何州不得未经正当程序剥夺公民的生命、自由或财产；任何州管辖范围内的所有人都受到法律的平等保护”。根据平等保护条款，除非是为了公共利益，国家不能从事表面上中立但实际上损害从属群体行为（subordinate groups）的做法。据此，在南北战争之后，美国正式废除了奴隶制， 这是美国反歧视斗争的重大进步。此后，《民权法案》正式在美国立法中明确，法律应当平等对待所有人，不得存在差别性对待。此阶段中，反分类原则占据理论主流。1971年格里格斯诉杜克能源公司一案中，杜克公司要求员工具有高中学历并增加了IQ测试，被认定为属于表面平等但实质不平等的歧视行为。在此案中，首次提出了差别性影响标准（disparate impact），认为这些测验对少数族裔具有不利影响，且不是该项工作所必须的，虽然形式上没有对少数群体差别对待，但是仍然违反《民权法案》第七款。即使部分少数族裔通过了歧视性测试，该条款并没有实质性阻碍其录用，仍然违背了差别性影响的保护标准。在此案中，差别性对待的不充分性展现得淋漓尽致，差别性影响标准和反屈从原则逐渐冒头。在格里格斯案后许多年，反屈从原则似乎有扩张之势。随着保守主义势力的回归，1976年华盛顿诉戴维斯一案中，被告要求政府废止申请哥伦比亚特区警官的书面考试，因为该考试将黑人族裔以高于其他族裔的比例排斥在警察群体之外。上诉法院宣布了考试无效，但最高法院推翻了该判决，并将反屈从原则被限制在了《民权法案》之中，而不能在宪法中适用。换言之，如果想要证明违反宪法第十四修正案中的“平等保护条款”，必须证明种族歧视的意图，符合《民权法案》的适用范围，而不能仅仅因为对不同族裔的不成比例影响认定。美国反歧视法的历史说明，歧视问题的认定首先是针对个案、适应于不同场景的，其次是与时俱进、不断演化的，最后是工具理性与价值理性的衡平，不仅需要满足价值理性的要求，在认定的具体细节中，也需要注意工具理性的实现。
⒉弱势群体界定：中国歧视现象管制的工具主义标准
歧视现象的本质是不合理的差别待遇。差别性待遇可能是歧视导致的，也可能是多种经济因素、社会习惯因素共同作用的结果。若仅凭单一因素界定歧视，一旦在差异性待遇中观察到种族和性别差异，就想当然地认定是歧视所致，将在歧视发生率不断下降时，仍生成更多歧视指控。借鉴美国反歧视法的基本原则和我国对平等原则的理解，可以明确我国认定歧视现象的标准。
一般来说，“弱势群体”（disadvantaged groups），具有三项典型特征：一是社会性，即一个社会群体，身份、福祉与其他成员相互依存；二是经济上的屈从地位，经济弱势地位长期得不到改善；三是政治上的孤立无援，由于人数、财力受限而无法有效参与竞选。因此，美国社会的歧视主要关注生来（by nature）弱势的少数人群体（minority）。这些标准在美国语境下， 其实都指向了少数族裔。而在我国语境中，虽然因宗教、民族可能会造成一些差异和冲突，但是很难说是我国社会不平等中的主要矛盾。在奉行各民族平等的基本原则，坚持独特的民族区域自治制度的背景下，一些政策对少数民族作出了倾斜，因此我国民族间的矛盾和冲突并没有那么尖锐。在算法歧视的讨论愈演愈烈的情况下，有必要明确我国的歧视标准，为算法行为划定界限。我国没有针对歧视现象直接的认定标准，但学界对平等权的普遍理解可以分为四部分：各主体之间的权利平等、义务平等、法律适用平等以及在法律界限中受到平等地约束。2017年党的十九大报告中指出，中国特色社会主义进入新时代，我国社会主要矛盾已经转化为人民日益增长的美好生活需要与不平衡不充分的发展之间的矛盾。换句话说，我国目前的主要社会矛盾，是贫富差距和社会地位所引起的结构性不平等。这种不平等的分类本身就是松散的、欠缺明确标准的，也很难列举或直接划分贫富标准并以此差别对待的行为，与“反分类原则”似乎不太适配，但可以借鉴和援引“反屈从原则”和“差异性影响”标准。且差异性影响原则更符合“实质正义”和社会分配不公问题的讨论。应当在理论上明确我国的差别性标准，在没有压倒性的经济合理理由支持的前提下，如果对社会弱势阶层造成极为严重的不利影响，应当被认定为歧视。在具体的实践操作中， 群体性的感受和观点更为重要。特别是在差异性影响的讨论中，必须是特定受保护群体认为存在不利影响才能成立歧视。
启发式直觉判断往往不如基于量化研究的统计性规律准确。“算法助推歧视”是对算法决策的启发式感受。想要分析何种算法政策能够促成社会福利最优，需要考虑算法技术的应用所导致的各类有利和不利后果， 即算法决策的运用产生了哪些社会成本和社会收益，以此判断算法决策技术是否具有实质合理性。权衡在决策中引入算法的准确性提升、速度提高及成本节约的收益，如果损失相对于收益是实质性的，可能需要放弃或者重新配置算法系统。从算法对歧视现象的影响上分析，算法技术的运用，减少了人类决策的噪声，增进了决策的有效性和公平性。
算法决策的评价应与非自动化决策相对比，而不是与理想的完美决策对比。应当认识到，无论使用何种方法决策，都会产生偏差和失误，诚如并不存在一个能够同时满足偏好性、传递性、帕累托法则、中立性等特征的完美集体决策方法。即使在承认阿罗不可能定理的前提下，集体决策仍然被众多不同的国家和地区所采纳。只是在集体决策机制的设计过程中，需要关照不同的决策评价的维度和标准，以满足集体决策的不同目标。类似地，任何的算法都不可能同时满足所有人的需要，我们需要的也不是一个“完美”的算法。即使算法决策欠缺某些“完美性”特质，会产生一定的负面效果，但如果算法能够让决策的效率和公平有所提升的话，那么算法决策便是可取的。
常被提起的算法决策问题是“算法黑箱”(black boxes)，认为算法决策结果的不可控性是算法歧视滋生的技术前提。算法黑箱与算法歧视之间存在逻辑跳跃和断环，虽然“暗箱操作”常被标上“违法违规”的不道德、不合规标签，黑箱只代表负面后果的可能性，并不必然导致算法歧视。利用得当的话，“算法黑箱”甚至可优化决策，例如，中国科学技术大学在同学们饭卡消费次数达到某个频次且消费金额低于某个标准时，学校会自动打入生活补助，不仅利用算法精准识别了真正需要帮助的贫困学生，还避免了公开评议对贫困学生心理的损害。若“黑箱”是歧视的根源，在非自动化决策中仍然存在大量“黑箱”，也同样产生歧视风险，例如人类决策中，人脑决策的过程本身就是一种“黑箱”。研究表明，人类大脑中有两套不同的思考系统，系统一是无意识且快速运行的，完全依赖自我控制，消耗的认知资源更少；系统二则高度复杂，需要集中注意力，涉及复杂运算活动。自主反应的系统一和控制自主反应的系统二之间可能会相互冲突，出现诸多心理错觉。例如，人们热衷于赋予某个群体以典型特征，从特殊性中归纳出普遍规律，形成普遍结论，忽视事物发生的统计学基础比率。
有观点认为，虽然行政自由裁量、法官心证也是“黑箱”，但作为人类决策，普通公众更容易理解这些“黑箱”内容，法律也便于利用制度规制。这种观点想当然地简化了人类决策的过程。实际上，人类决策中充满了偏见和认知偏差。在案件事实、法庭证据相同的情形下，对相同案件的判决仍然存在很大差距，司法决策中充满“噪声”。人类不可避免地受到文化经历、种族信仰的影响，在无意识中作出带有种族主义倾向的决策。即使是极具专业性的专家，包括法官，只要是人，就可能会陷入启发式等认知偏差，作出系统性的错误判断。例如，有关以色列假释委员会的一项研究显示，每次刚开始开庭的时候，诸如上午早餐后、午休后的时候，对原告有利的裁决比例将大大增加，远高于平均水平和庭审快结束的时候。
此外，法律程序并非歧视得到有效规制的保证，在公开的筛选程序和拘留决定中，仍会产生是否存在歧视行为的质疑。更何况，行政决策和司法决策中仍存在很多程序上的“黑箱”。在行政决定中，行政机关的内部事务信息、过程性信息及行政执法案卷信息，可以不予公开。这也就意味着，对于行政相对人来说，行政决策是他们无法获知和控制的“黑箱”。在司法裁判中，仍遵循正副卷制度，主审法官意见书、领导批示、代表督办等内容仍存放在几乎不公开的副卷当中。检察机关在开展法律监督工作中，很难调阅人民法院的诉讼卷宗副卷，更遑论普通当事人。司法审判流程中形式化的公开外观，仍未能消除法官决策过程是否受到权力或人情干扰的担忧。退一步说，即使法官未受权力或者人情干扰，也可能会受到其他因素的影响。有研究表明，无论是陪审员还是经验丰富的法官，只要见过某项证据，即使最后根据非法证据排除规则，该项证据被排除，决策者仍会潜移默化地受到该项证据的影响。
决策过程中存在两类错误——偏差与噪声，偏差指可预测的、普遍的误差；而噪声指随机的、不可预测的误差，当偏差个体性差异大或者取决于情境中的不同触发因素时，噪声就会产生。209-210相比于非自动化决策，算法决策的优势在于，能够消除决策过程中的噪声，特别是针对不利群体的那些噪声。
首先，算法以单一的简单规则消除决策的个体间、情境间差异。在充满噪声的情形下，人类预测结果很多时候不如简单的统计模型。机械地遵守简单规则，反而能固守无意识的一致规则（mindless consistency）；复杂判断规则会带来效度错觉，增加决策的噪声，降低预测判断的有效性。140-147人类决策受人脑认知局限的限制，当面临时间限制时，无法分析他们所掌握的全部甚至大部分信息，而计算机凭借强大的计算能力，比人类收集更多信息，分析人类从未考虑过的潜在解决方案。即使时间充足，人类判断时常混淆对证据评估和结果预测两个过程。即使个体掌握了目前大量信息，对未来预测仍然是不确定的，充满各种偶然性。一方面，现有证据的搜集仅能揭示某种未来的可能迹象；另一方面，个体的判断能力和信息收集能力总是有限的，对结果的预测受制于个体经历、能力以及决策情景的影响，充满着“噪声”。当个体作出结果判断时，通常将责任或者功劳归于行动者，但将这种结果解释为“水平噪声”或者“模式噪声”可能更客观，即归于运气或者客观环境。257-259，265-267且决策噪声并不相互抵消，反而不断叠加，一千个人受到了错误的保护，一千个人应受保护却未得到保护，这实际上产生了两千人次的错误。
其次，算法决策降低了对弱势群体的判断噪声。有学者认为，基于统计的数据生产，以无法控制的不均衡方式，通常会重现或加剧群体的持久不平等。算法的评分系统适当受到严格的商业保护，否则将对社会从属的弱势群体产生不当影响。这种观点忽略了对于弱势群体而言，更多的信息披露可能会更精准地决策，减少因群体身份而产生的差别性待遇。例如，当雇主无法可靠地获取申请人的犯罪记录时，他可能倾向于拒绝雇佣一名非裔男性，这对从未犯法的非裔男性非常不公平，如果信息充分的话，从未犯法的非裔男性恰恰是劳动力市场上受欢迎的群体。这种噪声的减少也同样发生在司法决策中。在审理前的羁押和取保决策中，利用算法之后，在不增加犯罪率的前提下，可以将监狱人口减少42%，而减少的这部分羁押罪犯中，以少数族裔为主。
在算法世界中，最重要的是相关关系而不是因果关系。算法的决策方式是筛选性决策（screening decisions），从众多的对象中筛选出符合条件的对象或者筛选掉不符合条件的对象。这种思路收集了更多数据和信息，能够以更客观的方式对决策作出判断，会产生更少噪声。算法决策并非没有成本，也可能产生偏误，在筛选过程中会出现诸如原始数据污染、数据代表性不足等问题。一方面，原始数据过多之后，算法若未能嵌入评估真伪的能力，决策准确性将下降。例如，生成式人工智能在最初横空出世时被寄予厚望，甚至一度认为即将达到“技术奇点”。生成式人工智能面对交互式数据，尚未找到判断数据真伪的方式，出现了诸如生成虚假信息等一系列笑话。2023年2月就有研究证明，生成式人工智能在律师职业资格考试上的能力被严重高估。2023年6月，斯坦福大学一项研究证明，生成式人工智能相比于3月，其在解决数学问题、回答敏感问题、生成软件代码、视觉推理等方面的能力都下降了。此类问题在人类决策中同样存在。在信息过载背景下，人类决策辨别真伪的难度也上升。另一方面，数据能否真实反映被评估者的实际状况也值得质疑。被评估者想知道更多信息，诸如评估方式、评估依据，满足评估要求、获得更好评估结果，但管理者反而会担心，一旦被评估者知道了评分的标准，这种根据以往数据预测未来行为的准确性反而会下降。数据来源污染和数据代表性不足的问题，也可能出现在人类决策中。在被决策者不加掩饰状态下收集的客观行为数据，相比被决策者的主观决策，更能反映其真实心理和行为轨迹。目前，生成式人工智能出现的问题，不是算法自动化决策技术本身的过错，只是技术发展尚不成熟所必然经历的技术发展阶段。正如我们不能因为有部分决策能力不足的决策者而放弃人类决策，也不应当因为算法发展不成熟而放弃算法决策。
此外，算法由人类设计、编程、训练，由人类决定算法何时使用、如何使用，算法决策出现的问题，终究还是人的问题。若潜在偏见源于社会，而非纯粹的技术问题，即使是最精心设计的系统也可能无意间编码现有偏见或反映结构性偏见，再多的技术设计也不可能保证自动化决策永远不以歧视性方法运行。更重要的问题是，如果算法决策只是人类决策的扩大和传递，即使这类决策由人类作出或者有人类干预，仍会产生偏见性结果。例如，在聘任过程中，通过机器学习和算法分析，推测未来五年内怀孕可能性较高的女性求职者的销售额最低，因此选择放弃招聘这部分员工。这种情况是雇主将销售额作为重要的评价指标导致的，换成人类招聘，很可能也会因类似顾虑拒绝招聘此类员工。当此类歧视出现时，不应当盲目去指责算法，而应当反思在利用算法决策的过程中，决策者是否有失偏颇，以及引入新技术后，此类偏颇是否被修正。除此之外，算法技术的地区、群体分配不均等问题，是社会经济发展水平、社会整体分配不均等因素导致的，并非算法决策方式的后果，也不能通过改进算法的途径解决，有赖于基础设施及其他配套制度的改进。
四、算法决策规范的治理转型：
人机共生时代的社会共治
“人类与人工智能不应该是互相竞争的关系，而是互补共生的关系。”在人机共生时代，机器与人类不断交互、协同生产，打破了人与机器之间的边界，重塑了信息资源的生成与使用范式。《网络信息内容生态治理规定》首次超越了“人-物”二分的思维框架，要求建立互联网平台的网络信息内容生态治理机制，顺应人与机器共生的时代潮流。应当认识到，解决自动化决策问题的最优路径，不是简单地排除算法决策或者要求人类干预决策，而是需要关注人和机器的互动关系，借助社会其他规范令算法运行符合社会期待、正当程序和平等规范。
算法厌恶是横亘在算法技术面前的巨大梗阻。要求算法处理结果的绝对正确，本身就是对算法程序的苛责。即使最严格的刑事责任证明标准，也并不追求百分之百的证明力。在英美传统中，普遍采取“排除合理怀疑”标准作为刑事指控的标准。“合理怀疑”指理性人针对重要事务中愿意依赖并采取行动的证据，“排除合理怀疑”指依据确信无疑的证据，被告应当被判为有罪，尽管这种确信不是数学上的绝对确定性。学术界普遍认为这个标准的确信程度约为95%或99%左右。当我们引入算法之后，举重以明轻，难以用超过刑事证明的标准去苛责算法。有研究证明，即使算法在决策和预测能力上超越人类决策者，一旦算法在运行中出现失误，人们倾向于在后续决策中不使用算法。公众对于人工智能和自动化算法的犹豫，可能出于对机器学习“黑箱”的不了解或者认知局限，也可能认识到算法决策在一些方面优于人类决策，仍然出于心理厌恶或其他原因，选择采用人类决策，拒绝算法决策。在制定算法政策的时候，应当综合考虑算法厌恶的民众呼声，否则政策的实施效果将大打折扣。对算法厌恶的综合考量不是单纯地顺应民意，政策制定者应当引导、促进算法厌恶的认知转型。
在自动化偏见的治理中，政策和公民应当凝成一股合力，共同接纳算法，避免算法时代的数字鸿沟。一方面，应当细化自动化算法的规则。人工智能必定是存在缺陷的，但在部分任务中，机器与人类决策结合或者单独决策后，能产生优于立法者、执法者、监管者的结果。在人类决策更优的场景中，应当充分发挥人类决策的智慧，避免算法的不当或歧视性决策；但在算法决策更优的场景，应当适度转变算法厌恶的观点，引入自动化决策算法。自动化决策规制应针对不同场景的技术风险作出调适。有些应用程序比其他应用程序的争议小，如预测天气模式的争议远小于犯罪再犯风险的预测。大力推动和引进争议更小的算法，积极鼓励和倡导争议较大算法的合理使用。对于争议较大的、对公民权益影响重大的算法，应当经过谨慎评估之后再使用，增强公民对于算法的信心。另一方面，要发展公民的算法意识，培育公民的算法想象，改进公民的算法策略。政府应当加大对算法技术的宣传，破除“算法歧视”“算法厌恶”“算法黑箱”的刻板印象；公民应当积极关注算法宣传和培训，主动增进对算法的了解，尝试信任算法技术。技术设计者应当关注公众对公平的需求，充分保障公众的知情权，接受政府的监督，设计和发展可行、可信、可靠的自动化算法程序。
算法规制存在四种模式：法律（law）、行为规范（norm）、市场（market）和架构（architecture）。法律指由统治阶级制定的、由国家强制力保证实施的强行性规范。社会规范通过群体间的声誉机制和相互预期产生实际性的规范效果。市场通过价格的反馈信号，自我调整实现新的市场均衡。架构指某种空间结构或者基础设施。例如社区的分布结构，高速公路穿过不同社区， 将使社区之间的联系减弱，阻碍社区融合的进程。又如，产品的基本架构，以香烟为例，香烟的架构指香烟如何设计、制作和使用，经过尼古丁处理的香烟更容易让人上瘾，受到政策更多约束。在以上四种模式中，某一模式会发挥着超出其他模式的实际作用，约束并限制其他架构作用的发挥。当法律规定十分强硬的时候，市场和社群规范的规范效力相对减弱；社群规范若能形成稳定的秩序，法律极有可能“避而不谈”。同样，没有任何一种单一模式能为算法规制提供完美解决措施，每种可用架构都存在固有局限性，面临可行性挑战，或存在现实性威胁。在算法规制中，为了减少歧视性因素的产生，可以引入市场模式和架构模式。
一方面，歧视问题可以由市场逻辑化解。在算法歧视的认定中，引入“过失歧视”（negligent discrimination）规则，歧视不再以“故意”为前提，将歧视责任认定与道德不法性剥离，减轻雇主使用算法作出员工评价或者招聘筛选的道德压力，也有利于雇员承认被歧视的痛苦，减轻原告的歧视证明压力。此时，当歧视现象得到证明后，支持被歧视者的索赔，将歧视转化为一种经营成本，督促企业将这种成本纳入考量，对企业形成一定程度的威慑，督促企业主动采取措施减少歧视。在此种市场逻辑下，雇员的平等性诉求得到了支持，自动化算法得到了应用，也减轻了企业援引算法的压力。
另一方面，歧视问题可以由架构化解。数字工具的歧视风险主要来自个体被剥夺了表达的权利，在屈从关系中不断被无休止地分类和剥夺机会。这个问题可以由算法的治理架构解决。在公开市场中，私人代码之间的长期互动，不同代码之间的相互竞争，或许是优于法律强制性规定的选择。可以引入代码的竞争机制，在不知道其他代码内容和策略的情形下，允许后发者按照自己的理解开发算法，并参与公开的算法竞争。即，在诸如法官等决策者采用算法技术对当事人作出决定之后， 当事人可以自主或者求助他人设计新的算法，并主张其设计算法的优越性。这种算法治理架构的好处在于，第一，当事人拥有对代码决定的表达权和异议权，可以更好地发表个人意见，争取个人权益，同时加深对算法技术的认知和对法律公正的认同。第二，在不断的公开竞争中，最适合社会发展、最符合公众认知的代码将有可能产生，代码的开发者可能是工程师、科学家或者任何对代码感兴趣的参与者。
若适当监管能预防算法部署中的渎职与偏误，算法将成为减少多种歧视、隐性偏见的潜在强大力量。算法技术的引入，不应以侵蚀行政国家及机构合法性为前提。在算法自动化决策中，应当坚持正当程序原则。正当程序原则一方面指向算法的适度透明和算法审计；另一方面，则要求引入自动化决策的制度程序本身是正当的。对算法来说，算法透明无需满足“鱼缸一样的全方位透明”（fishbowl transparency），即公众不需要像看到鱼缸内的各种生物一样，看到算法运行的全部流程。算法只需满足合理性的透明义务（reasoned transparency）， 在大多数情况中，算法应当满足合理的透明度，适当地披露信息，尽管在部分情境中，基于正当理由算法可以拒绝透明。算法透明，可以通过创新算法监督手段实现，诸如审计跟踪、交互式建模。在企业内部，可以引入数据保护官的内部审核制度。在企业外部，建立审计监督制度，保证算法的独立运行和可信性。对自动化决策的适用来说，各机构避免将未经正式或非正式规则制定的程序自动化，因公众没有机会对这些内容作出回应，无法证明自动化带来的重大风险是合理的。正当程序原则成为算法监督与规制的重要抓手，但正当程序和算法透明仍未能解决自动化决策的算法责任问题。即使遵守正当程序，当决策造成了不当风险，乃至实际损害时，仍需要由主体来承担责任。
算法规则不仅是真空中的可解释价值、正当程序、算法透明，还应当思考算法的主体责任规则。“主体责任”强调，主体应当承担积极作为的义务和不作为的义务，一旦违反这种义务，就应当承担主体责任。这里的责任可能是法律属性的、纪律规范性质的或者道德意蕴的。强调主体责任符合人机共生逻辑。人机共生，又称为“人在回路”（human in the loop），将人类置于人机循环的中心。在自动化系统的运行过程中，不仅需要借助算法扫描、筛选，还需要特定负责人审查流程、评估决策或者提供其他形式的监督。负责人具备干预、改变、批准或拒绝最终决定的权力，那么在人与机器的循环中，负责人处于核心地位。那么，正如决策者依赖有偏见的其他决策人员，并不能排除决策者的主体责任，算法模拟有刻板印象和偏见的雇主决策或者存在设计、制造缺陷，造成歧视被决策者的情形时，决策参与人当然应当对此负责。需要注意的是，我们并非要求循环中的人必须采取有效的监督，或者说，即使其采取了有效监督，仍然可能不能百分之百避免歧视风险，但这与主体应当承担主体责任并行不悖。例如，在AI司法场景中，法官仍然应当承担司法枉法裁判的责任，随着自动化决策技术的不断发展，这种责任可能转变为监督责任；算法设计者、制造着若对法官产生误导，应当承担相应的责任。
歧视行为通常涉及不平等待遇，留下羞耻的灼热伤口，进一步深化边缘化群体的不利地位，因而被长期禁止。在算法时代，算法长期背负着不属于自己的“歧视性”骂名和启发式的偏见。毫无疑问，即使再厌恶算法，算法化和自动化已经渗透进生活的方方面面。随着决策涉及不同的复杂数据源，人类将更多地依靠人工智能和计算机程序。与其被时代潮流推挤进新技术时代，不如转换心态，转变对算法的认知，重建人类对于技术的信任。当算法能够改善处于屈从地位群体的社会境遇，减少人类决策的噪声，尝试着去接纳算法与机器决策。在人类与机器关系的探索方面，我们做了很多，但还有很长的路要走。
