算法“黑箱”是指这样一种系统或机制，它的输入和输出是明确的，但是输入到输出是如何转化却是部分或全部隐藏的，“黑箱”一词试图展现人们因为算法的运行机制所遭遇的理解和认知上的障碍。有关算法黑箱的感知、记忆、理解、规制和行为的认知过程在这样人脑的系统中是如何实现的将成为值得研究的论题场域，而这隶属于认知科学的任务和专长。认知科学的研究对象是人类及其他智能系统的认知过程，其采用计算机科学、认知心理学、认知神经科学、语言学、人类学、哲学等学科的方法，该领域的核心假设是心理状态和过程可被计算。由于认知科学的交叉学科性质，本文拟采用“认知科学的视角”来统摄各种研究方法，围绕算法黑箱的研究主题，探究算法黑箱在心智中的表征，从而反思能够在规范意义上带来哪些方面的推进。
1.1 已有研究路径
（1）技术路径 技术路径秉持“算法黑箱是一个技术问题”的立场。技术路径不排斥其他研究视角，但是其坚持有关算法黑箱的问题最终都将化约为技术问题。技术是思考的起点，也是思考的终点。
首先，算法黑箱产生于人工智能的技术特性。一是在大数据的训练过程中，人类难以理解其涉及的大量参数的调整和优化；二是模型的输入和输出之间的关系不是线性可解释的，输入特征在高维空间中的交互和组合也难以直观理解；三是自适应和动态变化增加了决策过程的复杂性和不确定性。其次，算法黑箱的解决要借助于技术的力量。算法产生决策以高速度的自动化为其显著优势，相应地，其有关算法黑箱的解释也应具有大量和快速的特征。只有通过技术才能够有效解决大批量、成批次的算法黑箱解释问题，例如，引入可解释人工智能加以技术辅助、通过可视化技术对复杂模型的中间过程和参数进行展示、通过规则归纳和简化模型来提高模型的可解释性，等等。
（2）规范路径
规范路径遵循“权利—权力”分析范式对算法黑箱进行规制。首先，从权力角度，算法黑箱意味着拥有难以问责的权力。通过算法黑箱造成信息不对称，进而通过形式多样的策略来维持这种不对称权力。典型的策略有：一是通过商业秘密等法律障碍阻止算法黑箱的打开；二是通过“模糊处理”，即在没有办法完全保密的情况下隐藏相关信息、故意披露非必要数据。算法黑箱“给人实在的‘权力感’，在于它是一种权力行使的新方式，对权力起着放大的作用并改变了权力的性质，使得权力呈现出事实权力的特征。”算法黑箱的权力发生异化，导致算法僭越和算法越权，因此需要促使算法回到应有的轨道，达到算法归位的效果。其次，从权利角度，算法黑箱意味着算法歧视、算法偏见和算法不平等。权利本位的思路从个体主义出发，致力于构建起点、过程和结果算法公平，在隐私保护、损害责任、数据权益维护和特殊群体保护等方面进行权利保障的探讨。
（3）“技术—规范”二元结合路径
“技术—规范”二元结合的路径旨在调和以下矛盾：一方面，算法专家在技术路径中往往忽视价值观的考量；另一方面，法学专家在规范路径中常常忽略打开算法黑箱所需的技术条件。由此衍生出了两种不同的规制思维。
首先，先技术后规范的递进思维。该种思维信奉技术基础主义，认为“先从技术视角分析回答一系列基础性的技术问题，接着再把研究推进至规范研究重要的价值判断中，最终作出合理的制度设计方案。”即如果不前置性地考虑技术种类、性质和解释能力等特征，去构筑算法黑箱的规制方案无异于搭建空中楼阁。
其次，先规范后技术的涵射思维。涵射思维是一种囊括、挑选和应用的思维，即只考虑那些符合自身价值观、伦理观和法律观的算法技术，而对算法的技术发展脉络在所不问。这种思维看似不符合技术发展的原理，但是仍有很大的生存空间。从国际视野来看，算法技术研发的前沿阵地以中国、美国和欧盟三大地域为主，而除开这三个国家之外，大多数国家没有科研实力赶上算法时代，只能被动裹挟式地应用算法技术。因此，其将更多地基于本国特点对国际竞争市场的算法技术进行挑选，形成了先规范和技术的应用思维。
1.2 认知路径
认知路径融技术、认知与规范于一体。“人工智能属于计算机科学与认知科学交叉产生的新学科和新领域。”正是由于人工智能（子体）与认知科学（母体）的亲缘承继关系，仅分析技术维度和规范维度而缺乏认知维度不符合人工智能的底层逻辑，没有凸显出人的要素。以往在技术或规范维度争论的算法黑箱问题，实际上很可能是一个认知问题。同时，技术问题和规范问题的困境有可能在认知视角下获得新解或新出路。
随着解决算法黑箱的方案与人之认知的契合度提高，解决方案的有效性也将增加。可以通过认知科学提供关于人的认知黑箱和人对算法黑箱的认知的“原始数据”，进而在这套原始数据的基础上提出各种“价值设想”，原始数据与价值设想相互融贯，有时意味着对原始数据的取舍，有时则意味着对价值理想的妥协。概言之，人们已不满足于游离于认识之外的技术和规范角度对算法黑箱的探讨，而是期望使用与理解人类认知相同的概念框架来理解算法黑箱。
人类心智和人工智能中都会出现黑箱，黑箱可以作为思考二者共同性的联结。原有的“算法黑箱—透明度—责任制”的分析架构需要发生转变。
2.1 “算法黑箱—透明度—责任制”的架构
原有研究范式将算法黑箱、透明度与责任制紧密相连。
首先，透明度是指“开放性、清晰度；不掩饰和不试图隐藏有害信息”，其被视为解决从不公平、偏见、歧视、自主性到程序正义等各种潜在问题的解决方案。透明度分为两个层面：一是什么方面的透明度，透明度意味着与算法的特定方面相关的开放性；二是向谁透明。透明度的对象包含算法工程师以及其他所有与算法互动的人。透明算法通常与可解释算法、可信算法、负责任算法等同。
其次，问责制指的是“在一个决策者与一个被决策者之间的关系中，决策者有义务解释和证明其行为，被决策者可以提出问题并作出判断，决策者可能面临后果。”即决策者有义务解释和证明基于算法做出的决策。通过问责制，公共行政部门或私营部门需要解释他们在决策中使用算法的原因，说明其工作原理、使用的数据、预期结果和实际结果。
最后，透明度与责任制互相牵连。一方面，透明度被视为追责的基础。从正向角度而言，可解释性达成了对算法黑箱追责的过程基础；从逆向角度而言，责任制必须以清晰的算法决策流程为参照。换言之，透明度是通往可理解性的中间步骤，如果没有透明度，那么算法的设计、销售、使用等各方主体的责任便无法得以呈现。另一方面，问责制又将透明度作为关键目标。从认知角度来看，试图发现、揭示或破解算法黑箱的动因在于人类天然排斥被欺骗和被蒙蔽，通过责任制可以倒逼提升算法的透明度。透明度与责任制互为基础和目标，“以至于‘透明度’和‘问责制’这两个术语常常被互换使用。”“黑箱问题就是责任问题。”
2.2 算法黑箱被可解释性遮蔽的性质
可解释性或透明度只是算法黑箱的一个维度。将“所有的算法问题归结于‘算法的不可解释’是不恰当的”。除此之外，还包含陌生性问题和正当性等问题。
首先，陌生性问题主要来源于对算法黑箱不确定性的恐惧。“我们希望算法会产生比人类能够做出更好的结果，然而这意味着这些结果是意料之外的。”大脑的认知机制表明，长时间在不确定性下进行思考是困难的。不确定性通常与环境中的潜在危险有关，会导致人产生恐惧心理。同时，不确定性往往与复杂性相联系，大脑倾向于迅速解决不确定性和将复杂的模型简单化。否则，会陷入焦虑、慌张、不安或者忧愁等负面情绪，甚至可能引发对算法黑箱的敌视，甚至破坏算法的想法。对算法黑箱的认知不确定性展现了人类的有限理性。于是从认知视角而言，应降低对算法确定性的期待。具体来说，人类对算法黑箱应形成认知过滤机制：通过形成视野（获取有关算法黑箱的基本知识），选择性感知（选择重点关注算法黑箱的某些方面，忽略掉其他信息），对感知到的算法黑箱的解释（赋予所关注的算法黑箱以具体的涵义以及做出相应的行为选择）。
其次，算法黑箱的出现对法律决策正当性的证成构成了挑战。原有法律决定的作出必须严格按照涵射三段论的形式，程序正义是实质正义的根基。然而，算法黑箱的存在颠倒了这个过程，“重要的不是决策是如何达成的；唯一的问题是决策是否可以事后辩护（正当化）。”实际上，算法黑箱的决策方式与人类非常接近。因为人类的决策过程是双向进行的，前提和事实既决定结论，又会反过来受到结论的影响。只不过在法律领域，由于正当程序的要求，结果或决策的正当化理据必须唯一地以过程正义为基础。即便先得出结论，再以果溯因，也必须满足程序正当的论证，尤其是在关涉人的生命法益、财产法益和人格法益等重大利益的司法领域。对算法黑箱的认知，并非否定程序正义在法律决策中的关键地位，而是揭示出法律决策区别于算法决策的本质特征。进入法治场域，对待算法黑箱的方式已然不同了，其必须服从法治场域程序理性的诫命。
反认知常识的是，算法黑箱也具有潜在的正向认知功能。具体来说，有以下四方面：
3.1 统一功能：统一认知中组织层次之间的移动和从因果关系到机制的过程
在推理、理解和认知中，人类思维黑箱与算法黑箱存在结构上的耦合。首先，人类思维中的因果推论在最起初通常基于统计分析，而不是基于因果关系背后的机制。基于相关关系而非因果关系的底层逻辑的算法可以为人类思维的因果关系推论做好准备，其将现象与结果相联系，将因果机制的理解任务留给人类。例如，铅中毒可以导致人昏睡，在古代用作安神汤的主要成分，如果将这些维度导入算法，算法可以轻易地将含有铅成分的汤药与安神作用联系在一起。而人类思维会进一步探究汤药中的成分是有益健康的助眠还是有损健康的中毒。
其次，不断打开黑箱秉持了分析的路线，与人类理解黑箱需要综合的视角相冲突。在打开算法黑箱的过程中，如果放弃了综合的视角，解释算法黑箱可能将一些无关紧要的黑箱加以详细解释，而没有对实质生成决策的黑箱予以细致解释，从而造成了隔靴搔痒的虚假解释、形式化解释。为了凸显信息权重和信息层次之间的差异，黑箱的存在统一了认知中从因果关系到机制的过程。易言之，黑箱的打开以黑箱的识别为前提，在解释目标的牵引下，应将那些实质性地影响决策的算法黑箱作为解释的主要攻击目标。
最后，算法黑箱将纷繁复杂的技术通过“打包”的方式进行“封装”，降低了交流的成本。算法黑箱不需要时时刻刻被打开，也不需要对所有对象进行解释，对不同对象的解释力度也不尽相同。算法黑箱减少了技术交流的复杂性。此外，算法黑箱因为隐蔽在隐私保护、商业秘密保护和知识产权保护等屏障下而被饱受诟病，试图突破这些限制的声音不绝如缕。但是，从另外一个角度思考，“算法黑箱为保护个人隐私、商业秘密、知识产权提供了天然屏障。”算法黑箱避免了劳动成果、数据和隐私的全景化敞视
3.2 破除功能：破除算法可解释性的神话和避免深度解释错觉
算法由于算力的强度限制和数据的数量限制，算法决策将不可避免出现黑箱。一方面，从解释可能性上，没有一种解释能够真正全面掌握算法运算机制的所有细节；另一方面，在解释必要性上，算法解释将会在某个临界点终止，细节的增加不会对接受解释的人理解算法黑箱继续产生有益的影响。算法黑箱的解释总是部分的，算法可解释性的神话应该被破除。绝对的透明并不存在，算法黑箱的透明只是相对的透明。
因此，从认知角度而言，问题可能不在于如何打开黑箱，而在于“当透明化的内容难以理解时，透明性意味着什么”，算法的透明性的概念意义或实用性应发生转变。为了对抗不确定性，人类使用算法进行预测未来，但是算法本身内部蕴含着不可解释性、不可透明性和不确定性。为解决上述难题，人类倾向于深度解释，即人们认为算法黑箱的解释总是与实际有所距离，因此只有进行深度解释才能最大程度地满足要求。而深度解释错觉则意味着：一是将解释视为唯一的救命稻草，对算法黑箱进行吹毛求疵和斤斤计较的审视，认为任何有关算法黑箱的解释均是不可信的；二是缺乏合理的解释参照，无法判断算法黑箱的解释是否已然成功了。
人们在认知中总是对算法有不切实际的期待和要求，要求算法满足高于人类的标准是不合理的。算法黑箱的破除功能让算法回到了其应有的技术理性之维，终止在社会科学领域让算法解释达到超越人类思维高度的完满性尝试，而将这种努力和尝试留给自然科学领域。
3.3 方向功能：为黑箱的展开提供了水平或嵌套解释的方向
从认知视角而言，黑箱构成了具体解释中的一个单元，黑箱蕴含的实体、活动和互动对接受信息和构建解释的人来说是未知的，从而在理解的一个步骤和下一个步骤之间产生了一 - 6 - 个间隙。在算法黑箱的解释中，如果将输入的内容标记为I，将输出的内容标记为O，那么从I到O的过程解释涉及不同类型的黑箱。以通过算法进行自动化执法为例，如果输入当事人的违法信息I，输出处罚结果O，如果不告知违法当事人有关作出决策的任何过程信息，则会构成隐匿的算法黑箱，即违法当事人完全不知道处罚结果是由算法抑或是人工产生的，如表1中的。如果进一步当事人了解到决策是由算法作出，但是不清楚详细的算法运作机理，仅被告知该决策作出的方式，如表1中的。该种黑箱在科学哲学上也被称为“现象模型”。如果对算法如果作出决策进行解释，例如超速违反了规则R、规则R规定了罚款P，结合实际情况S作出罚款决策O，那么构成了层层递进的水平解释，因此被称为水平黑箱，如表1中的。违法当事人对实际情况S提出疑问，则要更详细解释实际情况S的具体构成，包含当事人的违法事实S1、时间S2、地点S3以及处罚机关名称S4，并由执法人员签名或者盖章S5。将S进一步展开，但是逻辑链条“IRPSO”并未发生改变，只是将具体解释嵌套进S，因此被称为嵌套黑箱或垂直黑箱，如表1中的。
3.4 阶梯功能：介于“白箱”和“黑箱”之间的可视化
“灰箱” 测试算法黑箱的方法有“黑箱”“白箱”与“灰箱”三种技术。“黑箱”测试是指在没有任何内部算法知识的情况下进行测试的一种技术。只检查系统的基本方面，与系统的内部逻辑结构无关或相关甚少。“黑箱”的反面是“白箱”。“白箱”有时也称为“玻璃箱”“白箱”或“玻璃箱”代表完全的透明。“白箱”测试是指详细调查代码的内部逻辑和结构。对系统内部工作原理的完全理解，以识别和纠正系统中的任何问题。其不仅仅涉及识别错误和查看应用程序的源代码以纠正问题，而是涉及理解整个系统并使用这种理解来识别系统中的故障。可见，“白箱”是以算法专业技术人员为中心。然而，一方面，用户不关心程序的源代码，而只关心界面及其与界面的交互；另一方面，用户不满足简单的“黑箱”测试。因此，应采取以用户为中心的方法，介于“黑箱”测试和“白箱”测试之间的“灰箱”测试。
无关或相关甚少。“黑箱”的反面是“白箱”。“白箱”有时也称为“玻璃箱”“白箱”或“玻璃箱”代表完全的透明。“白箱”测试是指详细调查代码的内部逻辑和结构。对系统内部工作原理的完全理解，以识别和纠正系统中的任何问题。其不仅仅涉及识别错误和查看应用程序的源代码以纠正问题，而是涉及理解整个系统并使用这种理解来识别系统中的故障。可见，“白箱”是以算法专业技术人员为中心。然而，一方面，用户不关心程序的源代码，而只关心界面及其与界面的交互；另一方面，用户不满足简单的“黑箱”测试。因此，应采取以用户为中心的方法，介于“黑箱”测试和“白箱”测试之间的“灰箱”测试。
“灰箱”测试是指一种在对应用程序内部工作有限了解的情况下进行测试的技术，同时也了解系统的基本方面。其结合了黑箱测试和白箱测试各自的优点，融合了两种模型，测试人员依赖于接口定义和功能规范，而不是源代码。在灰盒测试中，测试人员可以设计出优秀的测试场景、创建智能的测试编写、进行无偏见的测试，等等。
在算法领域，信任被定义为在不确定性和脆弱性下，人类对算法是否以及如何有助于实现人类目标的心理倾向、状态或态度。算法黑箱的信任建立可以从固有信任、学习信任和情境信任三方面入手。
4.1 固有信任：与人相关的因素
固有信任表示人们持久的信任倾向，来源于人类思维深处对决策的态度。在决策分析领域，决策由信息价值和控制价值两个基本概念组成。信息价值是指，提前了解随机变量值的价值；控制价值是指，将一些随机变量变成决策变量的价值。信息价值对如推荐系统这样的算法用户很重要，因为其本质上提供信息；控制价值对那些可能将决策委托给算法的用户很重要，因为其涉及人的自主决策权利的转移。在算法黑箱这样涉及人机交互的情形下，信息和控制的分析框架具有独特的意义。
（1）对场景化应用与场景化规制的反思
现阶段的人工智能属于弱发展阶段，设计一个预编程所有可能问题的解决方案的智能体是不可能的，智能体必须具备根据所拥有的具体场景信息做出决策的能力，并重新评估其过去的解决方案以改进未来的决策。因为不同的算法应用场景在用户画像、面临的风险、算法种类等方面存在差异，从而面临不同的监管要求，所以场景化应用产生了场景化规制。同时，场景化规制可以践行特别保护原则和精细化治理，场景是法律适用的抓手。因此，场景化规制算法黑箱成为主要趋势，具有代表性的是欧盟将场景化中的风险要素加以提炼，形成了基于不可接受风险、高风险和低风险的人工智能监管框架。
然而，场景化的规制存在以下缺陷：一是存在选择偏差，难免挂一漏万。由于资源和时间的限制，监管机构通常只能选择少数几个典型场景进行分析和规制，导致规制的适用性和有效性大打折扣。二是容易导致过度简化。情境简化虽然在一定程度上提高了规制的可操作性，但是也使得规制缺乏灵活性，难以适应快速变化的社会环境和技术发展。此外，也可能忽视了个体差异和具体情境的特殊性。三是忽视了动态变化和互动效应。人类的心理和行为是动态变化的，不同场景之间存在复杂的互动关系。场景化规制往往静态地看待问题，忽视场景之间的相互影响和动态演变。
（2）分阶段规制：信息阶段和控制阶段的划分
鉴于以上局限，场景化的规制方法应被对决策的分阶段规制所取代。在信息阶段和控制阶段，人们对算法黑箱的态度存在差异。首先，在控制阶段，有研究测试显示大多受试者不愿意将影响第三方的决策委托给算法。控制阶段可以进一步区分为决策选择和决策实施。在决策选择阶段，算法可用于评估和推荐最佳行动方案。然而，人们更倾向于相信人类的直觉和判断，而不是冷冰冰的算法。决策实施阶段涉及将选择的方案付诸实践，算法不仅仅是提供建议，而是直接参与决策执行。此时，人们对算法的信任问题更加突出。
其次，在信息阶段，在缺乏信息的情况下，人们反而特别愿意将决策委托给算法，因为缺乏信息带来的路线收益不确定性可能激励参与者将决策委托给算法。当参与者拥有的信息越多，他们认为自己已经拥有了做出良好决策所需的必要信息，他们就越有信心依靠自己选择正确的决策。从而将会产生“黑箱悖论”，即如果算法黑箱完全变成了白箱，让当事人获取了有关决策的全部信息，那么实际上当事人可能会拒绝该算法帮助做出的决策，而选择由自己做出决策或者人工做出决策。
