北京银行如何构建全栈大模型应用体系？

近年来，以 ChatGPT 为代表的大模型技术迅速发展，为人工智能产业带来了新的变革，全球 AI 竞争日益激烈，通用智能成为竞争的焦点。国家层面鼓励构建人工智能增长引擎，去年两会工作报告中提出了“人工智能 +”的理念，强调深化大数据和人工智能研发应用，开展人工智能 + 行动，以打造具有国际竞争力的数字产业集群。监管机构如人行、监管总局等也提出了针对人工智能大模型的规范要求和指南。金融行业凭借其丰富的大规模数据积累和多元化应用场景，成为大模型应用的理想领域。

然而，金融大模型在行业应用中面临三大挑战：高端芯片受限、数据问题以及大模型应用风险。例如，美国政府限制 AI 芯片出口，ChatGPT 主要使用英文数据，而中文数据不足 1%，同时金融行业数据来源也较为单一。此外，大模型存在幻觉问题，模型输出的准确性问题限制了其在金融领域的应用，目前主要应用于边缘场景。

为应对这些挑战，北京银行近年来一直致力于探索人工智能在商业银行的应用，打造人工智能驱动的商业银行（AIB）。去年，北京银行提出了 B=IB+AIB 的理念，即 投行驱动与人工智能驱动相结合的商业银行，强调加快企业级数字化转型，用 AI 构建面向未来的金融核心能力，提升经营质效和客户体验。

自 2020 年起，北京银行开始构建人工智能中台应用——京智大脑，重点发展以知识驱动的大模型应用体系，通过大模型与小模型的双轮驱动，提高运营效率，精准拓客营销，支持产品创新，优化客户服务，加强风险管理，积极赋能业务发展。

在日前举办的 FCon 全球金融科技大会上，北京银行软件开发中心副总经理代铁分享了北京银行在人工智能领域的应用平台建设与实践。

以下是演讲实录（经 InfoQ 进行不改变原意的编辑整理）：

在本次演讲中，我将分享北京银行在人工智能应用平台的技术架构、技术特点以及行业应用情况。

我们之前提到了京智大脑这一技术平台，它最初主要是基于数据驱动的小模型。近两年，我们重点聚焦于大模型的研发与应用，并成功构建了一个 “4+N”的全栈国产化大模型应用体系。

这个体系中的“4”代表了四个核心组成部分：

1. 国产化的算力底座，集成了 CPU、GPU、NPU 等算力资源，为人工智能应用提供了强大的计算支持。

2. 企业级知识库，它包含了行内的操作手册、规章制度以及金融行业的基础知识，通过我们的构建，形成了一个全面的、立体的金融知识图谱，为企业提供了丰富的知识资源。

3.MaaS 平台，在通用大模型的基础上建立了模型训练和推理的平台，负责整个大模型的训练、推理和构建工作。

4. 基于 Agent 的应用平台，我们在上面构建了查询和内容生成等方面的 Agent  能力，以支持多样化的业务需求。

“N”则代表了多个银行业应用场景的示范应用，通过这些应用，我们打造了一个“4+N”的应用体系，推动人工智能技术在银行业务中的深入应用和创新。

从应用架构的角度来看，北京银行构建了一个覆盖前中后台的大模型应用体系，这个体系以私有化、通用化、行业化、专业化和普惠化 为引领。整个架构从下到上分为五层：

1. 基础大模型： 这是架构的最底层，我们采用了开源兼容的方式，集成了大约十个目前市场上可用的开源大模型，以此为基础打造了我们自己的基础大模型平台。

2. 行业大模型： 在这一层，我们在基础大模型的基础上，结合行内金融数据进行精细调整，形成了多个参数规格的行业金融大模型，包括 6B、7B、13B 以及 130B 等不同规模的模型，以满足不同的应用场景需求。

3. 企业级知识库： 在这一层，我们结合总行、分行、支行各级的营销策略、产品信息、操作流程以及外部监管和内部风控审计的相关资料，进行了训练和向量化存储，构建了我们行自己的企业级大模型。

4. 场景赋能层： 基于企业大模型，我们建立了各种应用平台，围绕投资顾问、运营管理、行业研究、财务报告等十多个业务场景，提供了人工智能助手，以支持业务的高效运作。

5. 个人应用层： 最顶层是针对个人员工的应用，北京银行非常重 为一线员工赋能。我们以个人办公场景为抓手，为一线员工提供了包括写作助手、营销助手、客户助手等一系列 AI 工具，这些工具易于使用、高效且实用，旨在提高一线员工的工作效率，并提升全行的服务专业化水平。

在技术架构方面，北京银行的人工智能平台从下到上分为五个主要层次：算力层、数据层、框架层、模型层和应用层。

1. 算力层： 这一层由 GPU、NPU、CPU 等组成，为大模型的训练和推理提供必要的计算支持。

2. 数据层： 数据层涵盖了三个方面的数据资源。首先是行内数据，包括规章制度、操作指引、监管政策和培训资料等；其次是通过外部途径获取的企业信息，如工商、司法、税务、招投标等；最后是互联网上收集的金融资讯、百科知识和行业数据。这些数据共同构成了我们的数据和知识库。

3. 框架层： 在这一层，我们依托金智大脑进行大模型的训练和推理，包括 数据清洗、提示词工程应用和搜索引擎增强 等。模型的训练、管理和发布都在这一层进行控制。

4. 模型层： 我们内嵌了大约 10 多个基础大模型，这些模型可以根据需要进行增补。基于这些基础大模型，我们结合行内和金融业的数据，形成了不同参数规模的行业金融模型。这些模型针对不同的业务场景，如知识抽取、实体识别、意图识别、知识问答和查询等。

5. 应用层： 针对不同的业务场景，我们设立了相应的应用，以支持银行各种业务层面的需求。整个平台构建了一种多模型适配、多任务插件以及多元知识互补的交付能力和应用体系，为业务赋能。

第一，我们建设了全栈国产化的算力基座和训练框架，以提升自主可控能力。响应国家的号召，我们致力于增强自主研发和信息技术应用创新的能力。面对芯片供应的挑战，我们基于华为的 910B 芯片打造了国产化的算力，并通过 AI、物联网和边缘计算技术构建了智算网络。这个网络允许总行集中训练模型，分行进行推理、边端应用，实现了在算力资源紧张的情况下，对全行算力资源的统一调度，提高了资源利用效率，更好地服务于经营单位和业务流程。

第二，我们构建了可信的金融训练集，结合行内的规章制度、营销策略、监管要求以及行业数据，进行了相关的训练。通过与自动化研究所合作，我们提出了两项关键技术：一是多维度金融数据集的智能过滤技术，利用启发式规则、困惑度评分等方法，从数据采集、分析、清洗到去重过滤，形成高质量的金融数据集；

二是高可信混合式金融指令数据生成技术，通过种子指令扩展、背景数据混合等技术，针对金融领域数据更新快、内容忠实性要求高、风险厌恶的特点，提高了指令数据的抗干扰能力。目前，我们已经形成了约 500 亿 token 规模的数据集，包含了 300 万条指令集。

第三，我们构建了金融领域的混合专家模型。银行业的应用场景众多且复杂，我们的模型规格、参数和版本也相当多样。如果将应用场景与模型强绑定，将导致训练更新成本高昂，应用效果不佳。因此，我们建立了一个混合专家模型矩阵，通过自动路由和任务规划技术，确保最适合的模型解决具体的银行应用场景。这种方法不仅节约了推理资源，让最合适的模型处理相应的问题，还提高了模型的准确性。整个模型架构灵活且可扩展，可以进行拆卸和组合，基于这种混合专家模型实现分布式计算，使模型的分工更加专业化。

第四，我们建设了大模型服务平台，旨在降低大模型的训练和推理成本。我们内置集成了十多个基础大模型，能够快速进行二次性能增强。同时，我们打造了基于训练和推理的全面工具链，包括模型的基础配置、数据管理、模型训练、模型管理和模型部署等全栈式工具链，使我们能够迅速针对业务场景进行模型训练和推理，并快速部署，节约了训练和推理成本。我们也考虑了安全性，内置了安全算子和高危词过滤，确保模型的输出在数据安全和结果安全方面都经过了严格的考量和安排。

第五，我们建设了 Agent 智能体应用能力，以实现大模型应用能力的快速对接。Agent 是一种智能实体，它能够感知外界环境、进行推理，并执行动作。其核心功能依赖于大模型的驱动，除此之外，Agent 还具备规划、知识存储和工具调用的能力，使其能够快速感知外界环境变化并作出反应。Agent 可以根据设定的目标进行独立思考，调用并组合工具，以提升人机交互体验。这有助于更好地发挥银行业务流程的价值。

我们的 Agent 平台提供了流程编排、插件开发和部署等功能，支持知识问答、知识检索、数据分析、任务执行等多种业务场景的调用。这使得大模型能够方便地与银行业务系统进行对接，尤其是在信贷和风控等核心业务领域，Agent 技术的应用使得大模型的智能应用成为可能，我们也在不断探索其在这些领域的应用。

第六，自研搜索引擎的建设，旨在构建多元化的金融知识库，以提升大模型的安全性。我们已经建立了一个全面立体的金融知识图谱，这为大模型的决策和内容生成提供了坚实的数据基础。同时，我们自研了基于正向和逆向索引的搜索引擎，使我们能够迅速定位大模型所需的金融知识点，确保获取的知识既最新又权威，从而提高模型的准确性。通过构建这种多元化的金融知识库，我们能够满足银行业的监管要求，特别是对人工智能技术应用的可解释性和准确性的明确要求。大模型通常被视为“黑盒子”，而结合多元化金融知识库的技术，我们能够将“黑盒子”打开，将闭卷考试转变为开卷考试，既满足了监管要求，也使得大模型的应用更加安全可信。

第七，建设数据安全标注环境，以满足大模型数据标注的安全需求。近年来，数据安全保护的要求日益严格。为此，我们在数据中心建设了自己的安全屋，通过一系列物理措施，包括监控和门禁设备，确保数据标注的安全性和可控性。这不仅防止了数据外泄，还支持了大模型的持续研发和升级。

最后，我想简单介绍一下我们基于 大模型的一些具体应用。

“京信妙笔”智能报告工具：这个工具整合了 OCR、NLP 以及大模型的生成式写作能力，主要用于 贷款领域的报告撰写。它主要围绕贷款三查，即贷前的计算报告、贷中审批以及贷后的审查报告。使用这个工具的步骤很简单：首先选择信贷报告模板，然后上传相关报告和客户扫描的营业执照等信息，工具会自动进行识别和关键内容提取。接下来，可以一键生成初审报告的初审材料，并通过问答方式补充材料内容，方便地进行编辑和追加。此外，还有一键润色功能，可以进行改写、扩写以及风格化处理，以及一键校对功能，筛查语法、关键字或敏感词，极大提升了信贷领域报告编写的工作效率。

智能会议助手工具：这个工具结合了大模型的内容生成能力、语音识别和智能提取功能。它可以与行内视频会议系统对接，会议结束后，通过导入视频录像或录音，自动进行文本识别，并生成会议内容摘要。它还能识别发言人的情绪，并通过声纹识别确定发言人身份，提取相关信息，总结会议内容和讲话重点。此外，它还能对以往的会议纪要进行智能化搜索，方便引用。目前，这个工具主要应用于审贷会的会议纪要，大大减少了会议纪要的工作量。未来，我们计划在其他会议场景中逐步推广和应用，不断提升会议纪要的质量和效果。

智能校对工具： 旨在服务一线员工，减轻他们频繁写报告和审核校对的工作负担。这个工具与自动化所合作，具备三大类校对能力：一是文字标点的应用差错校对，包括错别字、语义、语法等；二是关键词或敏感词的识别，如领土完整、涉黄涉黑等词汇的提示；三是常识性错误校对，如地理名词、职务信息、领导人讲话引用的正确性等。这个工具在一线试用后反响良好，校对速度达到每秒 1000 次，基本满足一线应用需求。

代铁，现任北京银行软件开发中心副总经理，分管数据研发及人工智能领域。毕业于清华大学计算机应用技术专业，硕士学位，高级工程师。曾就职于中国建设银行银行，拥有逾 20 年银行 IT 从业经历。

大会 PPT 获取通道已开启，关注数字化经纬公众号，后台回复“PPT”，即可获取 PPT 下载地址（由于讲师所在企业限制，部分 PPT 不对外公布，详情见大会官网日程）>>>