目前，随着金融行业业务的快速发展，金融行业的业务生产系统积累了大量包括账户和客户隐私等敏感信息的数据。如果这些数据产生外泄，不仅会给金融行业和客户带来巨大的经济损失，而且会给金融行业的声誉及社会效益带来负面影响。
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 网智天元 的投递
作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟、中国大数据技术与应用联盟协办的《「数据猿·超声波」之金融科技·商业价值探索高峰论坛》还将在上海隆重举办【论坛详情】【上届回顾（点击阅读原文查看）】
在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖
来源：数据猿丨投递：网智天元
本文长度为7200字，建议阅读14分钟
目前，随着金融行业业务的快速发展，金融行业的业务生产系统积累了大量包括账户和客户隐私等敏感信息的数据。这些数据，在金融行业的很多工作场景中都会得到使用，如，业务分析、开发测试、审计监管，甚至是一些外包业务等方面，而在这些场景中使用的大部分都是真实数据。
如果这些数据产生外泄，其影响不仅会给金融行业和客户带来巨大的经济损失，而且会给金融行业的声誉及社会效益带来负面影响，降低客户对金融行业的信任度，容易引发金融行业的声誉风险，动摇金融行业的生存之本。
郑州银行在本项目实施前的数据调用操作均为手工脚本操作，敏感信息的屏蔽也均为手工屏蔽，存在诸如屏蔽规则不统一等问题。
在应对内外部审计时，也缺乏审计工具，难以直观的为审计人员服务。为建立覆盖各应用系统的测试数据管理平台及相应的长效机制，需要引入数据脱敏产品并开展针对性的实施工作。
依据银监会要求及行内对测试数据管理要求，郑州银行需要加强敏感数据方面的建设力度。伴随着行内业务的高速发展信息系统也随之进入高速建设时期，内部对业务测试数据的质量的提高，数据调用的频率及用途也越来越多样化，同时也带来了较高的内部风险。
数据脱敏系统建设完成后，将成为郑州银行生产数据至开放环境的唯一发布渠道，有效防止生产数据中敏感信息的泄漏，保障数据安全，规避数据安全风险。通过本项目梳理行内敏感信息，建立分级制度并统一屏蔽规范，实现敏感信息的统一管理。
通过本系统规范数据调用操作，实现生产数据调用的自动化及有序性，满足内外部审计需求在行内部审计改进项中也明确要求建立独立的数据脱敏系统，规范数据调用操作，提高数据调用效率，防止业务敏感信息泄露。
周期/节奏
实施周期
开始时间：2016年9月4日
结束时间：2016年10月26日
里程碑及交付成果
客户名称/所属分类
郑州银行/客户信息管理
任务/目标
通过数据脱敏系统的建设为郑州银行建立一套行之有效的数据脱敏处理的规范、标准、机制和方法，设计一套适合中小商业银行的数据脱敏系统方案，通过数据脱敏产品实现数据脱敏和数据安全保护、项目开发测试和外包管理的有机结合，从而促进中小商业银行的数据脱敏应用和提升敏感信息安全防护水平。
①建立数据脱敏的通用要求，描述数据脱敏的基础定义规范、内涵、脱敏原则，规范数据脱敏的数据种类、范围、脱敏方法，完善数据脱敏管理制度，用制度来规范和推动中小商业银行数据脱敏工作。
②建立可控操作流程，防范敏感信息泄露风险，提高客户信息保护力度。明确在生产数据使用过程中所涉及部门的职责分工，提高生产数据使用管理规范化、制度化水平，防范生产数据泄露等安全隐患。
③建设安全自主可控的数据脱敏系统，作为数据脱敏工作的具体抓手，保障数据脱敏工作的落地和可操作性。
④完善信息科技风险管理体系，实现数据脱敏和数据安全保护、项目开发测试和外包管理的有机结合，促进数据脱敏应用和提升敏感信息安全防护水平。
本次项目的主要目的如下：
①满足监管机构对股份制商业银行的敏感数据安全要求，能够有效防范内部风险；
②通过数据脱敏工具，实现数据的抽取、脱敏、装载的自动运行，减少不必要的人机交互过程；
③实现整个流程的批量化、自动化、智能化处理；提供对外接口供行方其他系统调用；
④保障数据脱敏效率和质量，确保脱敏过的数据完整性和一致性；
⑤脱敏流程可记录、可保存、可重用；
⑥脱敏流程、敏感信息灵活配置;
⑦提供流程审计功能。
挑战
项目中主要的风险
项目工作成效
截至到2016年10月26日完成了本项目所有的工作，本次项目主要成效如下：
①完成了系统集群模式部署，在原有基础上大大提高了系统处理能力。
②完成了系统集群模式部署，在原有基础上大大提高了系统处理效率。
③网智天元的金蜂巢数据脱敏系统提供了业内最广泛的数据源，包括Oracle、DB2、Teradata、MySql、SqlServer、Informix、Sybase等主流的关系型数据库以及格式化文本、Excel、Xml等格式化数据格式，并支持Hadoop等大数据平台。
④提高复杂数据库环境处理能力，减少了系统故障率。
任何项目在实施过程中都会遇到诸如资源、技术、决策流程等方面的挑战，但在郑州银行和网智天元的项目负责人及相关领导的有效配合与积极引导下，均得到了及时的解决。
实施过程/解决方案
网智天元金蜂巢大数据集成与脱敏系统，以“数据”为视角信息化安全建设，形成体系化数据保障架构，实现数据分级保护，实现数据的“机密性、完整性”，实现数据利用与数据保护的平衡。
重点保护“客户数据”“商业秘密”，明确“允许谁(WHO)，在哪种环境下(Where)，什么时候(When)、对什么信息(What)、使用什么方法(How)、执行什么操作(Perform)”,对数据全生命周期做到“可视”、“可管”、“可控”。
网智天元的敏感信息保护解决方案是国内领先的测试数据管理不敏感信息保护统一解决方案。敏感信息保护即对非生产数据中的敏感信息（包括客户姓名、地址、证件号、账户等）进行脱敏，对数据进行有效的变形，即保存数据结构的真实性，同时又跟原生产数据不一致，便于数据在非生产环境中使用，减少数据使用中的限制。
脱敏后的数据主要用于：测试，开发，培训，外包，数据挖掘/研究等。数据脱敏的难点是保持数据的完整性，与数据加密有所不同是一个不可逆的过程。
屏蔽非生产环境数据中敏感数据是做好数据安全工作的基础。不仅需要对生产数据迚行抽取变形处理，同时要保证变形后的数据保持原生产数据属性和数据间的依赖关系等，确保数据能够真实反映生产数据和生产环境的运行情况，提供可信度更高的使用案例。
针对测试需求及数据分析等大数据量的数据调用工作，需要具有针对性，能够批量、自动化和智能化的工具，稳定、高效地完成数据脱敏工作。
网智天元的敏感信息保护解决方案技术优势：
技术架构先进
多种数据源支持需求
数据脱敏系统的数据处理能力不低于10Gb/小时
多种方式进行元数据的维护
实现元数据版本管理
多种数据源支持
安全
网智天元敏感信息保护解决方案
①信息安全管理
网智天元金蜂巢数据脱敏系统基于其数据脱敏工具来实现，通过单一的数据脱敏系统支持郑州银行所有业务系统的测试数据管理以及脱敏，将生产数据抽取、脱敏并生成测试数据。金蜂巢数据脱敏系统满足监管机构对商业银行敏感信息安全管理方面的要求，不会对生产数据进行落地，确保了生产数据脱敏过程中的安全性。
金蜂巢数据脱敏总线系统采用分层设计理念，保障了系统的可扩展性，从生产环境或其他备份环境抽取出符合业务逻辑的数据集合，迅速构建大小适中的测试数据或其他数据类型，并进行变形处理，发放到目标。
②敏感信息自动发现
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行敏感信息扫描，进行数据脱敏。
敏感信息的类型包含但不限于如下类型：个人姓名、企业名称、证件号、组织结构代码、地址、email地址、电话号码、账号、金额、密码信息、磁道信息等。金蜂巢数据脱敏系统可以根据不同应用的不同需求，依据应用提供的构成规则完成敏感信息的自动扫描、发现，发现后根据应用的确认决定最终脱敏类型的范围。
③数据清洗、迁移、对比
网智天元的金蜂巢数据脱敏系统支持数据清洗、数据迁移和数据比对功能。
数据清洗
金蜂巢数据脱敏系统的核心功能即为数据清洗功能。本系统通过定义脚本因子、定义数据源、建立数据源之间的关系、使用数据清洗策略和规则，最后通过系统的图形化界面进行操作，实现数据的变形和清洗。而不是采用传统的数据加密或屏蔽其中的部分字符的方法。
源数据经过清洗后，除了保持源数据的字符类型、长度、格式等要求，看起来和真实的数据相同外，还保持了表与表之间、表与字段之间、数据与数据之间的对应关系，而非对相同字段内容的通用替换。
目前系统内置的清洗策略有关于姓名、手机号、身份证号、家庭住址、邮箱、银行卡号等多种策略。此外，系统还支持自定义方式新增清洗策略，以便满足多种数据类型的清洗要求。
数据迁移
网智天元金蜂巢数据脱敏系统的数据迁移工作，可和数据清洗工作同时进行。执行数据清洗工作同时，可以对数据进行迁移，数据迁移时同时支持多个选择，比如数据整体迁移、跳过已清洗的表等。数据迁移支持迁移到目标数据库，同时也支持迁移到源数据库。数据迁移时，同时对表结构、关联等进行迁移。
数据比对
为了保证数据清洗后，执行人员即可验证清洗的准确性，金蜂巢数据脱敏系统支持数据对比功能。用户可查看数据清洗涉及的表名称、表达式、数据库、数据表等，还可以直接使用数据比对，查看清洗结果是否满足预期。可视化的操作界面和简洁的操作流程，更便于用户对系统的使用。
④脱敏算法
网智天元金蜂巢数据脱敏系统具备完善、统一的屏蔽规则管理体系，遵从尽可能的为脱敏后的应用,保留脱敏前的有意义信息和最大程度上防止人为进行破解的基本原则，可以针对不同业务系统、不同表、不同脱敏规则、不同规则来源实现脱敏规则的管理，该模块通过规则划分管理、系统默认规则、自定制规则、目录管理、数据类型映射、规则开发接口等功能实现。
不仅需要对生产数据进行有效的变形,同时要保证变形后的测试数据保持原有数据属性和数据间（本系统内部及跨系统）的依赖关系等。
网智天元的金蜂巢数据脱敏系统提供了预定义的数据变形策略，默认支持常用中文、英文、电话号码、证件号码、中英文地址等屏蔽规则。工具内置了一些常用的算法，包括确定随机化、模糊化、置空、乱序排列、重复值屏蔽、随机替换、特定规则替换、身份证号、姓名、地址、电话、邮箱等算法。
网智天元的金蜂巢数据脱敏系统除了上述内置的屏蔽规则之外，还支持添加基于DB和JAVA的自定义屏蔽规则，可以满足用户所有的屏蔽需求。
⑤审计功能
网智天元金蜂巢数据脱敏系统满足审计人员提供审计查询及生成审计报表的功能，内置了常用的审计报告，包括用户信息、脱敏配置信息、任务信息等，并且支持自定制的查询、审计报告，可以对所有用户、所有操作、所有任务、所有状态进行定制，例如某个业务系统的所有脱敏任务状态审计等，管理员可依据审计人员属性针对不同审计人员分配不同类别的审计报表。
该模块功能主要通过审计用户管理、报告导出管理、报告分类管理、报告展示配置、默认报告管理、报告规则配置、自定制报告管理等实现。
网智天元为满足行方不同场景的使用需要，设计行方所需的特定化API接口，对金蜂巢数据脱敏产品进行个性化改造，定制脱敏一整套自动化流程。
整个脱敏的自动化流程包括：申请人提交脱敏请求，审批人审批通过后系统根据之前配置的数据库访问信息、应用系统敏感信息以及脱敏服务器当前负载情况，自动编排脱敏任务、匹配相应系统的敏感信息，执行抽取、漂白、加载。
结果/效果总结
在采用网智天元数据脱敏之前，郑州银行曾利用自己人工编写脚本方式进行数据脱敏，但是这个通过手工编码方式脱敏在遇到新数据加入时，完全不能避免从头至尾的代码改动，效率低、工作量大、准确性差，一个不慎就要重新再来也有可能造成漏处理的数据给数据造成安全隐患。
2016年，在郑州银行业务发展最迅速、各种金融应用频繁上线之时，郑州银行选择成熟的网智天元“金蜂巢大数据集成与脱敏系统”产品后，解决了数据脱敏及时性、准确性、易用性等方面问题，在保存银行业务数据原始特征的同时改变它的数值，从而保护敏感数据免于未经授权的访问，同时又可以进行相关的数据处理。
郑州银行通过采用网智天元“金蜂巢大数据集成与脱敏系统”解决方案，帮助其管理对最敏感数据的访问，建立了企业内部完善统一的脱敏机制与管理流程。网智天元数据脱敏系统建设项目可在内部和外部安全共享真实但无法识别归属的数据，防止个人信息数据与组织机构信息(例如：借记卡卡号、借贷卡卡号、地址和电话号码等)意外泄露。
通过数据脱敏项目实施，郑州银行轻松地定制了数据脱敏解决方案，实现了敏感数据的保护，使其可以在保留数据意义和有效性的同时保持数据的安全性，并遵从银监会、人民银行和公安部所提出的数据隐私法令和法规。网智天元成熟的数据脱敏技术帮助郑州银行提高了安全性和保密等级，降低了非生产环境中数据泄露的风险。具体来讲包括：
实现了个人名称、地址、联系电话、身份证号码、卡号、企业名称、机构代码等个人信息数据与组织机构信息的脱敏处理。例如用相似的字符替代一些字段，用屏蔽字符替代字符，用虚拟的姓氏替代真正的姓氏，以及在数据库数列中对数据进行重组，等等，使显示出来的数据是“逼真”的；
脱敏后的各种表格中数据关联关系依然保持一致，只需在一个表中应用替换算法，其它表格中客户相关信息同时进行自动更改；
形成了企业内部完善统一的脱敏机制与管理流程。
郑州银行数据脱敏项目使用了网智天元数据脱敏项目后，主要成果：
①当前处理超过3TB数据，每日处理数据300G左右。
②目前有近10个项目接入平台，未来规划更多，73家分支行将陆续接入。
③平台目前已经为行方节省了500人/年的成本投入。
④对于数据脱敏，已经从此前脱敏一次5个工作日，减少到1个工作日。
⑤从之前脱敏10%的故障率，减少到了0.1%的故障率，大大减少了脱敏质量问题。
⑥填补了数据脱敏管理规范，从之前管理上基本靠人的管理方式，出现问题无据可查的诸多纰漏。引入平台之后规范了数据管理，整个脱敏流程通过人+系统双重管理，填补了数据脱敏管理上的漏洞。
网智天元核心团队经过10年技术积累和实践应用，在互联网大数据智能处理领域形成了完整的价值链竞争优势，包含五大系列产品：大数据搜索、大数据管理、大数据分析、大数据挖掘、大数据服务，取得了行业领先地位。
网智天元为金融行业大数据应用提供完整的产品和服务，其中，数据脱敏系统产品除应用在郑州银行项目以外，还应用于中国进出口银行，中国农业发展银行，潍坊银行，东营银行，济宁银行，日照银行，泰安银行等国内各大商业银行及金融机构。
企业介绍：
网智天元科技集团股份有限公司是中国新三板大数据智能第一股（股票代码：832112），是中关村高新技术企业、国家双软认证企业和国家高新技术企业。集团是中国领先的大数据智能软件与服务供应商，致力于应用互联网智能技术，创造大数据价值，帮助个人、组织和企业享受大数据时代网络智能生活。
集团核心技术是互联网大数据智能处理，独创的网络智能机器人技术能基于PB级大数据、亿级用户画像与情感计算，通过百万级机器人网络并发，最终实现全球互联网络群体智能行为模拟、情感计算和认知塑造。
基于此项国际独创技术，集团打造了五大自主核心基础软件产品——战鹰网络舆情监控系统、蓝鲸内容管理系统、巨象影响力分析系统、画龙预测评估系统和虎啸传播营销系统，形成了集数据、内容、用户、时间、情感于一体的国内领先的五维大数据智能平台。
网智天元十年磨一剑，一直致力于互联网智能科技研发及应用，遵循“用户思维、数据驱动、智慧营销和衍生交易”的顶层战略设计，创新性地应用大数据智能实现“智造·大数据”，并在政府、银行、影视、媒体、旅游等众多领域应用大数据智能。
典型客户有国家科技部、国家水利部、国家食品药品监督管理局、国家旅游局、中国银监会、中国证监会、新华社、中国新闻社、中央电视台、浙江省教育厅、中国公安大学、中国进出口银行、华夏银行、华融湘江银行、广东省农信银行、华为公司、华谊兄弟公司、优酷、爱奇艺、麒麟影业等。
其中，在影视领域，依托巨象影响力分析系统提供影视大数据咨询，依托虎啸传播营销系统提供影视大数据智慧营销，网智天元打造了体系化的“影视决策智库”，并在行业内开创性的应用大数据手段实践网剧制作与宣发，用影视大数据改变影视行业生态链，引领行业转入新业态。
在金融领域，网智天元推出了“金蜂巢”大数据脱敏存档系统，“金魔镜”统一客户画像系统，“金战鹰”声誉风险管理系统，“金信鸽”金融风险控制预警系统和“金麒麟”财富管理系统，五大系统形成“客户管理—客户洞察—传播营销—征信管理—财富管理”一套完整的闭环应用产业链。
特别是“金魔镜”和“金信鸽”系统，以金融客户数据和互联网大数据为核心，将金融大数据转化为实际的客户洞察力，并通过大数据实现对金融行业客户风险预警、信贷全流程风控分析，满足了众多城市商业银行金融客户大数据分析应用的迫切需求，市场前景广阔。
集团现在拥有100多项软件著作权、15项专利申请。集团独创的基于网络智能机器人的大数据智能平台，2013年分别获得北京市科技创新基金和国家科技创新基金；集团的虎啸传播营销系统软件应用成果，获得2013年北京市文化创新基金和2014年国家文化创新基金的资助；2014、2015连续两年集团又承担了三项国家十二五科技支撑计划项目。
2015年，“面向多领域的大数据智能集成服务平台套件”获“2015年度国家火炬计划项目”认定；2016年，“文化大数据产业应用服务平台”项目获得北京市文化创意产业发展专项资金支持，“大数据驱动的企业网络安全管理平台及试点示范应用”项目成功入选工信部电信和互联网行业网络安全试点示范项目。2017年，“文化创意产业大数据公共服务平台”成功入选国家发改委“促进大数据发展重大工程支持项目”。
网智天元科技集团股份有限公司一直秉承“创新、专注、诚信、合作”的经营理念，以“汇聚互联网智能，创造大数据价值”为目标，致力于研制新一代的互联网智能技术及大数据分析解决方案，凭借领先的技术、一流的产品、全面的方案、优质的服务和卓著的信誉，在大数据采集集成、舆情管理导控、大数据挖掘分析和大数据整合营销等发展潜力巨大的领域中处于领先的地位，成为最优秀的互联网大数据智能软件与服务供应商。
数据猿超声波
「2017金融科技商业价值探索高峰论坛」
（点击图片，了解详情）
