工业制造业首先是大数据的源头，一旦制造业全面数字化，生产流程中产生的数据都轻而易举地属于大数据的范畴，其数据量、产生频度、类型从IT角度来看，都极具挑战性和吸引力。但是，无论是大数据还是小数据，工业制造业对于数据的应用，不光在于制造业如何应用数据，而更多地在于制造业如何认识和看待数据。
信息化基本情况
2010年，我们在乌鲁木齐建厂，搭建完成PCS系统。2011到2013年，重点上线轮胎条码物流系统和OA系统等四个基础业务系统。2015年重点上线SAP系统，实现了资源调配与平衡。2016开始，受高层重视，开始作为工信部“两化融合”试点企业，开始大力发展两化融合。2016年重点工作是业务系统数据分析工作，
也就是我们常说的“小数据”分析。
经过6年多的建设，公司信息化管理架构已经基本完成。PCS、MES、ERP、CRM、SCM等系统应用在了不同的业务模块，实现了生产和业务管理的自动化、信息化。
信息化系统的整体架构是由位于上层的ERP系统、中层的MES系统、底层的控制系统组成，是面向车间层的管理信息系统。在MES系统建设上，目前昆仑是全国轮胎行业内第一家MES系统全线贯通的企业。
MES的全线贯通带来了明显的收益。公司从需求到生产到最后结算，整个环节业务驱动数据流程。这为数据分析驱动生产运营工程提供了数据基础，也为“两化融合”工程提供了技术基础。
数据分析驱动轮胎工业转型与价值创造
在业务系统数据分析过程中，由于业务部门提出较多的定制化需求，加之技术上对稳定性和扩展性的需求，我们急需一个能打通各业务系统数据，高效率制作数据报表和分析的工具。最后和帆软合作，基于报表工具着手搭建数据分析报表平台，。
具体定制服务的场景，这里重点介绍5处。
定制数据服务场景1：密炼机空转预警
设备管理员需要实时关注设备的运行情况。此前我们一直依赖设备的声光提醒，每个管理员只能独自管理两台设备。我们进行了整改，根据密炼机的供电电压、温度、能量等数据，个性化定制了空转预警分析报表，并集成到微信平台。当密炼机出现空转，超时3分钟及时微信消息预警，避免能源损失，提高设备利用率。现在我们每个管理员可以独自管理6台设备，大大提高了管理效率。
定制数据服务场景2：设备OEE综合分析
设备管理员每个月都需要对设备做综合效率分析。之前采用从系统导出数据，然后Excel手工统计的方式。数据容易出错，并且重复操作，效率低。现在基于帆软平台，开发了月度设备综合效率分析报表。每月自动微信推送到指定管理员微，方便管理员综合分析。以前等待一周才能开始的月度会议，现在完全可以月初第一天开始，大大提高了效率。
定制数据服务场景3：裁断班组产能分析
我们有的分厂，之前没有接入MES系统。生产产能分析，一般是一个人操作设备，另一个人用Excel记录数据，然后人工汇总。现在开发了裁断班组产能分析报表，集成到微信。两个人的工作只需要一个人，并且每天不必花费大量时间做报表。班组更换时，班组产能分析报表自动微信发送到相关人员。通过优化配置班组成员，提高产品合格率，提高了生产效率。
定制数据服务场景4：胶料工艺优化分析
在实际生产中，经常有限量或者定量生产计划。比如胶料生产，以10万车为一个触发点。这个触发点是我们根据以往车次生产参数的综合分析，计算出某种胶料达到最优品质时，各种生产参数的最佳设定值。有了这个定时推送的微信消息，技术人员在改进工艺时可进行参照，不必脱离岗位去查看MES系统或者打印纸质单据。
定制数据服务场景5：质量趋势分析
工业生产，特别注重产品批量质量分析。一旦稍有差错，很容易导致一大批次出现问题，甚至导致整个产品线返工。对客户、对企业自身造成极大恶劣影响。我们轮胎是如何做质量监控和预防的呢？首先，我们的设备都大量嵌入芯片，数据实时上传到我们业务系统；其次，我们对历史数据做了分析和经验总结，制定出检验标准：连续3条轮胎质量监测出现问题即为异常；最后，依托微信数据报表，及时将异常生产信息和异常产品编码推送到一线生产人员。及时发现问题，及时纠错，确保产品质量合格，保证连续生产。
昆仑轮胎的数据分析项目的认知背景
昆仑轮胎能在信息化方面取得飞跃发展，荣获“两化融合”试点，原因众多。这其中相当重要的一个内因，在于公司领导对信息化、对数据的工作的先进认知和支持。数据是信息资产，数据也是生产力。公司高层意识到，我们很多生产和业务管理的隐性问题，是可以通过数据分析挖掘来展现的。高效利用我们积累的工业数据，是可以为客户提供更多的增值服务，同时开拓我们新的商业模式。
轮胎工业大数据分析方向
在工业大数据的一年实践中，我们也总结了工业大数据分析八大方向，目前我们已经部分完成这些数据采集工作，下一步重点就是数据分析和预测挖掘。
zgub
（本文作者为双钱集团（新疆）昆仑轮胎有限公司信息部门部长邸海生）
数字经济时代的智能化大数据治理
当今，数字化转型正在各行业快速发展，以数据、流量、知识为主的的数字经济时代到来，数据在其中的重要性不言而喻。
在企业内部，数据团队正逐渐变成一个专业、独立的部门，未来数据部门的肩上要扛起包括保证数据质量、管理数据架构、提供平台与工具等在内的各种数据相关的职责，来支持各方对数据的使用、形成企业的数据资产。做为支撑数字化转型的基础设施，数据治理已经成为数据团队履行数据职责的重要手段。
我们正在尝试通过一些智能化的技术来实现数据治理，建立企业统一的数据工作环境。本文主要介绍了通过智能化的手段来实现大数据治理的一些技巧，以及其中的核心技术。
目录：
一、治理数据，从发现数据问题开始
二、三个智能化大数据治理的案例
三、大数据治理的十大智能化能力
四、总结
一、治理数据，从发现数据问题开始
科学探究的过程一般是从发现问题开始的，数据治理也是如此。先发现问题，再寻找解决方法，最后提供相应的技术支撑，这是做数据治理的一般思路。
1.企业中常见的四类数据问题
在颠覆企业业务的数据经济时代，数据无疑成为企业拥抱变化的基础，数据跟实体一样变成了生产资料的一部分。但是我们仔细观察之后，会发现企业存在着各种各样的数据问题：
第一类问题就是数据资产不清晰。现在很多企业都不了解自己的数据，企业中到底有多少数据？数据都是什么样的？这些数据到底可以发挥什么作用？很少有人能准确回答出这些问题。
第二类问题是数据质量不高。现在因为数据质量不高而影响企业业务的例子有很多，在这里就不多说了。
第三类问题是业务和开发的协作问题。数字经济时代，业务对数据的需求和以前不同了，以前在数据仓库的模式下，开发是先把一些工具归并出来，再做成一个整合提供给业务，现在业务需要进一步明晰数据是什么，要自己看有哪些数据可以发挥出想要的价值。
还有一类问题是知识和数据难以关联。比如我们发现拿给业务看的数据和业务概念之间往往不能很好地匹配。举一个金融行业的例子：业务想要一个头寸的数据，但是到底在哪个地方，哪一种头寸说不清楚，像这种数据和知识的关联是很难建立的。
2.通过大数据治理提供多种数据服务，从根本上解决数据问题
传统数据治理更多是在强调通过一些流程和制度把数据质量提高，并不能很好地解决以上种种数据问题。现在做数据治理，更多是为大家提供统一的数据服务的能力，从而让数据问题得以解决。
这样的环境应该包括哪些东西？需要能解决一些什么样的问题？简单总结就是四个字：管（Manage）、看（Browse）、找（Discover）、用（Apply）。
把海量的数据管起来，需要建立元数据的模型，比如说我们做客户画像的时候，可能根据客户信息建一些元数据，做服务数据的时候，可能会根据交易接口做一些元数据，做数据仓库的时候，可能会根据这个数据仓库建立一些元数据。我们管的时候，需要建立整个企业层面的元数据以及跟合作伙伴打交道的元数据，这样才能把所有的数据和数据之间的关系统一整合起来，而这些元数据不是手工录入进去，而是采进去的。后面会讲到我们元数据的智能化采集，这是能体现数据治理智能化的概念之一。
很多人都说过数据治理太技术化了，做完之后领导看不到效果，业务价值难以体现。能否“看”得到，是我们在做数据治理时能否拉到同盟军，建立统一战线的一个非常重要的手段，如果到最后连效果都看不到，很难把数据治理推行下去，也很难得到领导的支持。“看”的部分是能展现数据治理效果、决定数据治理成败的主要部分。
要想实现“找”，要建立业务元数据跟技术元数据的匹配，后面会讲到我们用到的知识图谱技术，其中的难点是如何通过业务含义来查找数据，如果从技术含义找这些数据其实问题不是很大。恰恰我们做数据分析做使用都是从业务含义上来找，需要找到语义以及语义的上下级的关系，并且做一个延伸的搜索。
很多人可能会问，找都找到了，“用”还不简单吗？其实没有那么简单，脱敏怎么做？大家出现争执的时候怎么做？供数部门说我已经给了你5个G的数据，需求部门说我怎么没有发现？这时候就需要一个裁判，来判断究竟是谁的问题，这5个G的数据是没有取走，还是提供的数据有问题，这是用的问题。
以前把数据清洗完进仓库，到集市里面去，时间非常长。现在我们通过数据治理这个统一的工作环境来干这件事情。在这个工作环境里面把管、看、找、用四件事全解决了。而如果仅仅站在传统数据治理的角度看这个事情，很难把这个事情做好，必须把这个事情放大，提供这样一个统一的数据工作环境，让大家用这个数据。这是我们做数据治理十多年来总结出来的一些经验。
3.
智能化还是纯手工？
通过手工的方式，也可以基本满足提供多种数据服务的要求，但是我们知道手工方式的代价和成本太高了，需要选择更智能化方式来实现大数据治理的工作。如果不能做到100%的自动化，那就尽可能追求最大程度的自动化，只要做到一部分就有非常大的帮助了。
二、三个智能化大数据治理的案例
与传统数据治理相比，智能化大数据治理需要在四个方面有所突破：
-
转变目前数据团队的目标与组织架构，明确面向数据自服务的数据管理职能；
-
梳理现有全业务系统的数据架构，形成可逐步演进的企业元数据；
-
为数据的使用方提供数据生产线，为数据的收集/转换/存储/探索/可视化等提供方便的工具和研发过程；
-
建设有别于数据仓库的数据湖，在此之上形成企业数据资产。
下面用几个例子跟大家分享一下我们今年在做智能化数据治理上做出的一些成果：
1.提升数据共享的航空业智能化数据治理
现在有很多数据，该航空公司希望通过数据分析出春运的表现，这些数据一定是有的，但是这些数据在哪里？这个公司有100多个系统，有很多需要的数据分布在好几个系统里面，甚至某些数据之间还存在冲突。
这种情况下先要提供“摸家底”的能力，先通过自动化的方式找到现在有哪些数据，企业的主数据，数据主题都有哪些，映射关系是什么样，只有自动化采集的方式才把这些元信息尽可能多地采集出来，并把数据从业务系统到仓库、集市、报表之间的流转关系打通。
对于我们来说说简单也简单，说复杂也复杂，通过源代码的分析建立关系，而不是完全通过手工的操作建立这样一个关系，最后形成下图这样一个数据体系，在这个数据地图里面知道主辅系统是什么样子，知道在哪里能找到需要的数据。自动化把家底摸清楚，这其实是解决了我们第一个阶段的问题。
最终，是要做到提供数据服务的能力，这些年的数据治理实践中我们发现不能把数据治理做成高高在上的，一定要把它做到日常工作中，这样才能起到治理的作用，要把这个东西作为一个底层提供出来，让应用开发、数据开发都可以用，这是我们做数据治理的一个目标。
2.提升风险管理能力的证券行业大数据治理
大家知道这两年证券行业有一些变化，监管的要求比以前高了，如果大家对资本市场有关注，就会发现证监会对证券公司有很多监管上的数据要求，也就是说提供证券公司监管报送的时候，数据要保证是正确的，在这种情况下就需要建立数据治理以及质量管理的机制，知道怎么样通过风险控制的指标做这样精细化的管理，这需要把现在的一整个IP系统建立数据治理的流程：从评估分析开始，到体系规划，到数据梳理，最后把它落到上文讲到的统一的数据工作环境中来。
从监管报送的角度来说，数据标准的建立非常重要，数据标准不完善，给监管报送的报表一定是不对的。
通常数据标准的建立有两种方法。传统的方法是人工梳理的方式，其实还有一种方式是先拿到数据模型，在这个模型上做修改，再衍生出数据标准。我认为用第二种方式更好，这种方式能够根据企业实际情况形成数据标准，这样出来的数据标准更容易和企业的实际情况建立联系。虽然通过第一种方式可以理出很多Word文档，整理出很多数据含义，但是映射在IT里面到底是什么样子就搞不清楚了。有很多数据标准跟现在的系统现状有可能差距是非常之大的。如果把现有的东西理出来再把这个门类整合，再跟信息项做关联，其实做出来的数据标准跟你现在的系统映射做的非常好。我们更推崇这种自下而上为主，自上而下为辅的数据标准建立方式。通过这种自下而上的方式把从数据仓库，到数据集市的应用整个关联建立起来，通过这个数据链路关系，数据加工关系，再用这些方式来帮助大家更好的建立数据标准。
3.提升运行监控能力的电力行业大数据治理
电力行业有它的特点，有一个部门叫做运监，运监部门就是从现有的数据里面看出来现在运营监管的情况，最关心的还是有哪些数据。实际上是国家电网的CIM模型已经提供了一个语义的标准，这个标准和现有的信息数据关联是什么，通过各种各样的手段，是否能够建立更多的自动关联的方式？其实往往在界面上，在政策法规里面一定会提到已经建立的模型。我们是可以通过分析源代码，分析数据模型，分析数据架构关系，把其中的链条做出来，通过这种方式可以自动建立出来一种体系，并把修整的版本管理起来，用服务的方式把这种能力提供出来。
三、大数据治理的十大智能化能力
如何让大数据治理变得智能化？我觉得可以从十个方面入手。
1.智能化支撑数据标准构建
刚刚大家也看到了，在证券的案例里，传统的数据标准梳理是自上而下来做的，而我们是自下而上做的，通过数据治理平台可以自动采集一些技术元数据，再通过这些数据的特征跟数据的业务元信息建立关联关系，这个技术相对复杂，需要通过业务属性、技术属性的特征建立数据标准。
2.智能化规范系统数据模型
我刚刚举了某大型全国商业银行的例子，在该银行，我们把数据模型的设计、维护等日常的工作和数据标准建立了关联，让大家在日常的工作的时候就能够用到数据标准。当然，在这里面需要一些数据标准的变通流程和模型处理的流程来支撑。2011年，全行有17万数据标准，现在全行有8万个数据标准，可以看出做了很多的规避，这就是跟日常数据应用开发做关联的好处。
3.智能化梳理企业数据资产
在这个自动化梳理企业数据资产的过程中，有很多需要实现的技术点，报表可能用开源做的，ETL可能是用存储过程写的，需要分析不同类型的数据库，分析不同代码的结构。
我们曾经给一个物流公司做资产梳理的过程中得到了一个他们自己都觉得很吃惊的结论，梳理形成地图之后发现300张报表在地图里没有跟任何源系统有关系，也就是说这300张报表已经没用了，但是他们还在花成本维护。通过自动梳理经常能发现很多意想不到的情况，这也是我对整个数据架构的整理过程。
4.智能化实现数据协同变更
我们在做应用的时候上线都很频繁，如何尽量保证上线不出错就是我们希望的协同。要想协同，至少做到两件事：在某个数据发生变更的时候通知该数据的上下游是其中的一个方面，还有一方面是在上线的时候都要和元数据系统做比对，上线之前会把生产系统里的元数据和开发系统元数据做一个比对，比对出二者的不同，然后审批这种差异是否OK，审批通过之后可以上。如果有问题。可以把设计模型也采出来，看看和设计是不是一致，是就OK。大家知道变更是很麻烦的事情，如何尽可能让变更不出错其实就是一个协同的过程。
5.智能化形成大数据生产线
这是整个数据处理的自动化，我们发现其实大多数数据处理、数据清洗的过程都是简单重复性劳动，我们知道机器最擅长做的事情就是重复性工作。举个例子，加字段是一种最常见的数据变更，手工的方式一般是先做一个临时表，把新字段和数据放到临时表里面，再把新表和老表之间做一个关联。数据生产线里面，像这种操作可以直接由系统完成，大家需要做的就是在系统里面做选择题，选择具体由哪种方式来实现想要的操作。
6.智能化企业元数据服务
企业元数据其实有很多，有技术模型、业务模型、服务模型等。把这些元数据采过来的目的应该不只是形成企业地图，实际上是要通过数据服务的方式对外提供元数据，简单来说可以通过接口从我这里拿到想要的东西，把接口嵌到你的工具里，而不是跑到我的系统查，遇到数据质量问题的时候也能直接定位到问题所在，而不等是再进入到元数据系统里才能判定出血缘关系，整个过程不需要去登录元数据系统。这是智能化数据服务必须要做到的。
7.智能化业务知识图谱构建
数据间的流向关系在企业信息系统是真实存在的，很容易获取到，但数据和知识之间的关联关系一般是逻辑上的，而这种逻辑关系一般都要跨部门或跨系统才能获取到，所以在做数据分析的时候需要一种智能化的手段来给这些数据建立关系。
我们基于知识图谱技术构建企业数据间的关联关系，首先基于企业元数据信息，通过自然语言处理、模式识别等算法，以及业务规则过滤，实现实体对象提取；然后以本体的形式表示和存储；最后利用智能搜索、关联查询手段，为最终用户推荐数据关联关系。有了知识图谱的支持，基于元数据的自助数据服务开发就变得很简单了。
8.智能化数据业务标签发现
我们都是实操性的东西，通过下图这样一些使用习惯，在联合外界系统的情况下，用智能化的方式自动化为系统中的数据建立标签。
