【工业互联网研习社：构建工业互联网认知体系】
| 2018年1-6月工业互联网平台原创深度观察集锦 |
与你一起，认知升级
这个数据平台发展史仅是笔者经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，通过四篇文章介绍在非互联网、互联网企业两个领域数据平台发展阶段和区别。本文将以非互联网时代、互联网时代数据平台发展角度来讲述。
作者：松子(李博源)，来源：数据工匠俱乐部（zgsjgjjlb）
笔者是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是有很大的类似之处，随着互联网的突飞猛进，每一次的技术变革都带来一场从技术、架构、业务的渐进式变革，到今天互联网、非互联网的数据平台架构已经差异非常大。
回顾早期的企业环境，企业的生产与服务是一个很长周期，导致业务数据呈现一种粗粒度模式。随着互联网的快速渗透从早期的PC终端到当下的移动终端，对用户的需求与服务周期将逐渐的缩短，业务量级、数据类型多样化与存储的暴增，对应着技术、架构、业务呈现出迅猛发展，相应的数据沉淀与积累也成指数暴涨。
从”数据仓库“ 词开始到现在的“大数据”，中间经历了太多的知识、架构模式的演进与变革，比如说“数据仓库、海量数据、大数据”等。（备注：数据仓库一般指的是：在相当长的时间内堆积数据，仅仅需要处理大量数据请求中的少部分的系统。数据仓库不等同于“海量数据” 。恰恰相反，而是其子集。海量数据也包含：通过大量的连接提供每秒百万次服务请求的系统。大数据是海量数据+复杂类型数据基础上的大分析、高宽带、大内容）。
数据仓库在国外的发展史多年，大约在1998-99年左右进入中国，到现在历了大约十多年发展。到了今天尤其是在非互联网、互联网企业两个领域数据平台有显著的区别。本文将以非互联网时代、互联网时代数据平台发展角度来讲述。
很多从传统企业数据平台转到互联网同学是否有感觉，非互联网企业、互联网企业的数据平台所面向用户群体是不同的？这两类的数据平台的建设、使用用户又有变化？数据模型设计又有什么不同呢？
我们先来看用户群体的区别。
图1:传统企业数据平台用户群
企业的boss、运营的需求主要是依赖于报表、商业智能团队的数据分析师去各种分析与挖掘探索；
支撑这些人是ETL开发工程师、数据模型建模、数据架构师、报表设计人员，同时这些角色又是数据平台数据建设与使用方。
数据平台的技术框架与工具实现主要有技术架构师、JAVA开发等。
用户面对是结构化生产系统数据源。
从这用户群体角度来说这非互联网、互联网的数据平台用户差异性是非常明显，互联网数据平台中很多理论与名词都是从传统数据平台传递过来的，本文将会分别阐述非互联网、互联网数据平台区别。
自从数据仓库发展起来到现在，基本上可以分为五个时代、四种架构（大家可以详细翻一下数据仓库的发展历史，在这里仅作科普性介绍）
五个时代划分是以重要事件或代表人物为标志，比如说在企业数据集成EDW时代其重要代表人物是Bill Inmon 代表作数据仓库一书，更重要是他提出了如何建设数据仓库的指导性意见与原则。他遵循的是自上而下的建设原则，这个导致后来数据仓库在千禧年传到中国后的几年内，几个大实施厂商都是遵守该原则的实施方法，后来的数据仓库之路等各种专业论坛上针对数据仓库ODS-EDW的结构讨论。
在国内项目实施中IBM、Teradata、埃森哲等很多专业厂商在实施中对ODS层、EDW层都赋予了各种不同的功能与含义。
在数据集市年代其代表人物是Ralph kilmball，他的代表作是”The Data Warehouse Toolkit“，在数据仓库的建设上Ralph kilmball 提出的是自下而上的建设方法，刚好与Bill Innmon的建设方法相反，这两种架构方式各有千秋，所以就进入了争吵时代。
我整理了一个表格是这两位大师的优缺点：
随着数据仓库的不断实践与迭代发展，从争吵期进入到了合并的时代，其实争吵的结果要麽一方妥协，要麽新的结论出现，果然Bill inmon与 Ralph kilmball的争吵没有结论，干脆提出一种新的架构包含对方，也就是后来Bill Inmon 提出的CIF（corporation information factory） 架构模式、这也算是数据仓库的第三代架构，其架构特点是把整个架构划分为不同层次，把每一层次的定义与功能都详细的描述下来，从04年后国内的很多数据仓库架构、甚至互联网刚开始搞数据平台数据仓库架构模式也是这一种。
（开发时间2001-2002年）
海尔集团的一个BI项目，架构的ETL 使用的是微软的数据抽取加工工具 DTS，老人使用过微软的DTS 知道有哪些弊端，后便给出了几个DTS的截图。
功能：进销存分析、闭环控制分析、工贸分析等
硬件环境：
①业务系统数据库：DB2 for Windows,SQL SERVER2000,ORACLE8I
②中央数据库服务器：4*EXON,2G,4*80GSCSI
③OLAP 服务器：2*PIV1GHZ,2G,2*40GSCSI
这是上海通用汽车的一个数据平台，别看复杂，严格意义上来讲这是一套EDW的架构、在EDS数据仓库中采用的是准三范式的建模方式去构建的、大约涉及到十几种数据源，建模中按照某一条主线把数据都集成起来。
这个数据仓库平台计划三年的时间构建完毕，第一阶段计划构建统统一生性周期视图、客户统一视图的数据，完成对数据质量的摸底与部分实施为业务分析与信息共享提供基础平台。第二阶段是完成主要业务数据集成与视图统一，初步实现企业绩效管理。第三阶段全面完善企业级数据仓库，实现核心业务的数据统一。
在第一阶段数据仓库中的数据再次通过阶梯型高度聚合进入到数据集市DM（非挖掘集市）中，完成对业务的支撑。
下图是数据集市架构,如图所示:
图2:数据集市架构
图3:国内某银行的一套数据集市
这个是国内某银行的一套数据集市，这是一个典型数据集市的架构模式、面向客户经理部门的考虑分析。
数据仓库混合性架构(Cif)
图4:数据仓库混合性架构(Cif)
图5:太平洋保险的数据平台
这是太平洋保险的数据平台，目前为止我认识的很多人都在该项目中呆过，当然是保险类的项目。回过头来看该平台架构显然是一个混合型的数据仓库架构。它有混合数据仓库的经典结构，每一个层次功能定义的非常明确。
ODS层支撑单一的客户视图，是一个偏操作行的做唯一客户识别的，同时提供高可用户性客户主信息查询。
EDW层基于IIW（IBM的通用模型去整理与实施）最细粒度、原子、含历史的数据，也支持查询。
各业务数据集市(DM) 面向详细业务，采用雪花/星型模型去做设计的支撑OLAP、Report、仪表盘等数据展现方式。
OPDM大约是在2011年提出来的，严格上来说，OPDM 操作型数据集市（仓库）是实时数据仓库的一种，他更多的是面向操作型数据而非历史数据查询与分析。
在这里很多人会问到什么是操作型数据？首先来看操作型数据支持的企业日常运作的比如财务系统、Crm系统、营销系统生产系统，通过某一种机制实时的把这些数据在各孤岛数据按照业务的某个层次有机的自动化整合在一起，提供业务监控与指导。在2016年的今天看来OPDM在互联网很多企业已经实现了，但是在当时的技术上还是稍微困难点的。
作者：李博源, 网名松子，从业数据仓库领域工作近20年。
第二篇: 讲述非互联网数据平台的核心-数据模型
第三篇: 讲述互联网数据平台发展阶段
第四篇: 讲述互联网数据平台的核心-数据模型
【预告】：第4期#工业互联网研习社知识沙龙#将于10月27日（周六）举办，欢迎长按图片二维码报名
造奇智能产业新媒体 & 工业互联网研习社将持续动态关注这一进程，我们怀着期待，传递理性和建设之声，融入成为生态中的一员，陪伴在大家左右，“无问西东”。
2018年是工业互联网发展的关键之年！
唯有沉淀，才能生长。
与200+业界资深人士探讨工业互联网
让我们一起探索工业互联网的世界~
更多独家观察和原创文章，造奇新媒体为您奉献真知灼见。详见：2018年1-6月工业互联网平台原创深度观察集锦 | 与你一起，认知升级
“数”说2017 | 这一年，我们走过的路，表达过的观点和思想
【友情提醒】：可请点击底部[阅读原文]进行关键词搜索，即可按照关键词自助式服务，搜寻同主题词文章，一网打尽同主题文章，更好地把握工业互联网及智能制造演进变化。
国内第一家正式成立并开展运营的智能制造产业新媒体及内容服务机构，聚焦新工业革命与智能时代的价值创造，以“深度影响智能制造进程，守望智能制造产业成长”为使命，聚焦智能制造、工业互联网、工业4.0、数字化转型及人工智能、大数据技术在工业领域的应用。
联接产业企业、大学、研究机构、政府、资本等产业核心力量，通过创新和融合力量，打造深度观察、行业洞见、丰富资讯于一体的原创型、产业新媒体平台，凭借有洞见的思考观点，在产业界独树一帜。
2018年1月1日，[造奇智能]新媒体独家推出、业界首份聚焦工业互联网领域的高质量实名付费社群——工业互联网研习社。致力于打通工业互联网从资讯→信息→知识→认知→见识的链式通路，助力您的职业发展和机遇把握。
、
