在教育数字化转型的推动下，教育领域正致力于通过数字技术提升质量与效率。在这一过程中，人工智能作为新质生产力的代表，在个性化学习支持、自动化教育评价、辅助教育决策等典型应用场景，发挥着日益重要的驱动作用。以深度学习和生成式人工智能为代表的前沿技术显著增强了系统的智能性，但其模型内部结构与算法日趋复杂，决策输出存在不确定性，且通常需要海量多源教育数据。这些特点也为人工智能的各类教育应用引入了可信问题，也直接影响人工智能技术在教育一线的大规模落地应用。
数据是构建人工智能模型和系统的基础，基于深度神经网络的大模型及相关系统通常需要大规模、长周期与多模态的海量教育数据。海量数据的采集通常需要来自不同的数据源和用户，因此采集到的教育数据存在隐私与公平问题。海量教育数据通常包括教育用户的敏感个体信息，数据的收集通常缺乏透明度，被采集的教育对象可能并不了解哪些数据被收集且数据的使用是否合规，以及是否被泄露或未授权使用。同时，人类社会的偏见与非公平因素也存在于海量的教育数据中，并由此逐步影响和渗透到教育服务过程中，加剧了教育的不平等与歧视现象。人工智能模型和系统可能会根据学习者的性别、民族、学习经历或家庭状况等因素提供差异化教育服务。例如，实验结果显示，部分人工智能模型在女性数据上的准确率显著高于男性数据，这可能导致相关个性化教育服务的性别歧视和公平性问题。
以深度神经网络为代表的人工智能模型具备良好的信息表征与隐含特征提取能力，可以极大提升各类智能教学系统的智能性。然而，这类人工智能模型由于其内部结构与决策过程都非常复杂。换言之，模型的使用者甚至构建者只能看到模型输出的结果，但模式通常难以提供清晰且易理解的说明和依据，即使专业用户也难以理解模型运行的基本逻辑。例如，当人工智能模型判断个体学习者针对当前知识点掌握薄弱时，即使人工智能专家也无法给出具体且专业的判断依据。这种“黑箱”性质容易直接引发学生、教师、家长以及教育管理者等各类教育用户的不信任感，从而极大影响人工智能技术在教育一线的落地应用。因此，教育模型的运行与系统的决策存在极大的不透明问题。
人工智能系统的决策可能产生不可预测或不易察觉的错误输出，具有一定使用风险。例如，在教育领域使用生成式人工智能，系统可能输出错误的价值观或信息，这可能会对学生的价值观和认知发展产生负面影响。人工智能系统也可能给师生生成或推荐错误的教学资源，这可能直接影响教学效果、降低学习效率。当前，教育领域尚没有针对人工智能技术的使用，针对模型与系统设计者以及教育管理部门建立相应的问责机制，也没有针对学生、教师、家长等不同利益相关者引入系统风险评估机制。
为解决当前人工智能教育应用领域的可信问题，教育领域亟需引入可信人工智能（Trustworthy Artificial Intelligence）。可信人工智能最初在通用人工智能领域被提出，旨在强调人工智能模型和系统在其设计、开发、部署和使用等阶段，均需要建立和赢得用户信任，确保技术的透明度、公平性、隐私保护和安全性，从而发挥技术及其应用的最大潜力。
在教育领域，可信人工智能首先可以确保系统和模型能按技术预期准确运行，提供相关智能化教育服务。在此基础上，还可以帮助人工智能教育应用符合数据安全、社会规范和道德伦理等要求，以确保教育各利益相关方合理使用，从而建立教育用户的信任。
基于可信人工智能在解决教育数据的隐私与公平问题方面可以扮演重要角色，可信人工智能强调对个人数据的保护，确保数据收集、存储和处理过程符合隐私保护法规。通过建立严格的数据管理政策和程序来防止数据泄露和滥用。在技术层面，也可以通过联邦学习等机制，在充分利用各方数据的前提下，防止私有数据的泄露，学习者个人和群体的敏感数据和信息需要得到妥善保护。针对数据中的公平性问题，可信人工智能可以通过设计特定算法，消除可能存在于教育数据和算法中的偏见，公平对待个体的优势、劣势和偏好，从而提供公平的、个性化的教育服务。
例如，可以通过在算法中引入公平因子等参数，提升人工智能模型对不同性别学习者的预测准确度，从而确保相关个性化教育服务能够平等地向各类性别学习者提供服务。
可信人工智能还可以为不透明的人工智能模型与系统提供可解释性。可解释性代表模型向人类解释或呈现可理解的术语的能力，是人类与模型决策之间的接口。教育用户通常不理解人工智能模型支撑的系统，难以与人工智能技术形成良性互动。可信人工智能及其相关技术可以揭示复杂人工智能模型，向用户说明系统隐性的决策规则与底层机制，或者告知用户对当前模型的决策结构起到主导或重要作用的输入特征等解释性信息。
例如，自动批阅旨在实现对学习者开放性或半开放性作答的自动评分，是构建数字化教学平台与智能化教育评价的重要实现形式和基本功能。然而，基于深度学习的自动批阅模型决策过程复杂，可信人工智能可从多维度解释自动批阅结果。一方面，它可以解释批阅结果的判定依据，说明依据何种信息给出分数和反馈；另一方面，它可以解释批阅过程的决策逻辑，解释批阅模型输出结果的过程中进行了怎样的判断。这些解释信息与自动批阅结果可以同时展示给教育用户。重要的解释性信息，还可以通过颜色、字体等设置突出显示。教育用户对具备解释性信息的人工智能模型与系统的信任度也会逐步增加。
可信人工智能可以建立问责制，包括责任分配机制和风险评估机制。责任分配机制应明确规定对人工智能模型所做出的正确和错误决策的责任划分，可以在模型设计方和教育用户之间分情况讨论后进行分配。风险评估机制则需要对人工智能在教育领域应用可能带来的潜在风险进行全面评估并预测可能的负面后果。在建立了明确的责任分配和风险评估机制之后，还需要建立有效的监督和申诉机制。申诉机制允许教育用户询问存疑的决策结果。例如，针对自动批阅服务，允许教师、学生和家长对人工智能系统的评价结果提出异议，并在必要时进行人工复核和调整。
