专栏名称: 软件定义世界(SDX)
软件定义世界, 数据驱动未来。
目录
相关文章推荐
数据派THU  ·  丹麦首台AI超级计算机,NVIDIA技术加持 ... ·  3 天前  
数据派THU  ·  【NeurIPS2024】用于时间序列预测的 ... ·  1 周前  
数据派THU  ·  11种经典时间序列预测方法:理论、Pytho ... ·  1 周前  
51好读  ›  专栏  ›  软件定义世界(SDX)

中小企业数字化体系设计

软件定义世界(SDX)  · 公众号  · 大数据  · 2024-11-13 06:00

正文

热门下载(点击标题即可阅读全文)

【PPT下载】中国数据分析师行业峰会精彩PPT下载(共计21个文件)

【PPT下载】2023中国企业数字化转型最佳实践案例高层论坛精彩PPT下载(共计15个文件)

数字化转型专题:

【战略】企业数字化转型战略完整指南

【PPT】《数字化转型工作手册》
【战略】普华永道:企业如何进行数字化战略转型
【路径】数字化转型知识:架构、价值及路径
【能力】一文读懂企业数字化转型能力框架
【报告】《企业数字化升级之路——百家企业数字化转型发展分析报告》
【本源】数字化转型的本质(10个关键词)

【教训】麦肯锡:企业数字化转型失败率高达80%
【中台】数据中台唱衰,企业数字化转型路在何方?(上、下)
【金融】中国商业银行数字化转型调查报告
【人才】数字化转型中的人才技能重建
【组织】传统企业数字化部门在数字化转型中的重要性及参考设置
【PPT】指标驱动,数据优先、工业数字化转型的经验分享
【华为】华为的字化转型方法论

【华为】华为数字化转型中的数据治理实践[]

【PPT】《华为数据之道》读书笔记

【PPT】《华为数字化转型之道》读书笔记

【案例】国资委:国有企业数字化转型百大典型案例

【困境】国企数字化转型六大困境+原因剖析+典型事件

【路径】2021国有企业数字化转型发展指数与方法路径白皮书

【工业】56万台卡特彼勒设备如何实现“卡特智能”?数字化转型对中国工业互联网的启示

【PPT】《2021中国企业数字化转型路径实践研究报告》

【策略】再论数字化转型-转什么,如何转?
【调研】红杉中国:2022企业数字化指南(附:2022版/2021版下载).

【美的专辑】

【美的1】方洪波:美的的数字化转型实践
【美的2】美的:100亿,数字化转型路径与实践

【美的3】美的集团数字化历程与经验总结(2020年)

【美的4】【PPT】美的从“制造”到“智造”的数字化转型之路


一、数字化建设基础


企业数字化建设绕不开三道坎,即体系建设、人才培养和管理工具,对应数字化建设就是数字化建设体系、数字化人才培养体系和数字化管理系统平台,即文章提出的“2个体系+1个平台”方案。目前,在数字化建设领域中并没有出现与“2个体系+1个平台”完全一致的产品或服务,只有几个具有数字化顶级能力的大型企业,如华为、阿里、光大银行、南方电网等,由于其自身的数字化建设比较成功,因此具备了建设“2个体系+1个平台”的能力。


目前,企业数字化建设领域中的产品或服务提供商基本上分为三类,如下。


(一)数据管理、数据治理产品或服务提供商


主要做基础的数据管理、数据治理,如元数据管理、主数据管理、数据安全管理、数据质量管理、大数据建设等,这类提供商偏向于底层数据技术能力,为企业数字化建设提供基础设施建设。而这类产品服务的投入是最大的,参考现有金融、医疗、能源等国企的项目金额,投资额基本上在500万以上。


(二)数据集成展现产品提供商


主要做业务报表、商业智能、数据挖掘等,这类供应商偏向于业务分析和创新能力,更倾向于用如机器学习、NLP(自然语言处理)、计算机视觉、大模型等新兴技术作为自身产品服务的优势和特点,为企业提供数据可视化、经营管理决策等数据支撑产品或服务。而目前这类产品服务实际效果最好、普及率最高的是BI(商务智能)和大屏,新兴技术的应用场景有限且仍处在探索和逐步验证阶段,主要原因仍然是“决策始终是需要人来做”。


(三)数据管理、数据治理培训服务商


主要做数据管理、数据治理认证培训,这类供应商偏向于代理认证培训来为企业提供数字化建设人才,由于数据管理、数据治理相关的认证基本上都来自国外,因此国内的培训机构仅是负责渠道销售并没有参与到本土化运营的层面。并且目前数据管理、数据治理相关培训主要集中在技术维度,业务维度严重不足,实际很难培养出业务+技术的复合型人才。


上述现状会给企业尤其是中小企业带来数字化建设落地的“矛盾”,即企业需要自己将上述产品或服务整合起来,同时企业又几乎不具备能整合上述产品或服务的能力。这就使得企业必须边做边摸索,导致数字化建设失败风险和重复投入的概率增加,这对资金和资源本身就不充足的中小企业来说会面临更大的风险。


因此,文章从中小企业数字化实际建设的角度来阐释如何落地数字化建设的“2个体系+1个平台”方案。


二、数字化建设体系设计


(一)设计概览


企业数字化建设体系有2个核心目标:数字资产和数据交易。数字资产的目的是进入财务报表,目前法律上还不具备,但中央全面深化改革委员会第二十六次会议明确将数据作为生产要素(摘自2022年12月2日《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》)。数据交易的目的是获利,可以是资金获利也可以是资产获利。


(二)体系构成


如图1所示,数字化建设体系共分为5个部分:数据架构、数据治理、生产经营、业务智能和数据协议,如下。

图1 数字化建设体系


1.数据架构:该部分主要针对企业自有业务系统的数据库,由于数据库技术已十分成熟,因此是企业目前基本上已经具备的能力,即使没有也是很容易获取到的能力。


2.数据治理:该部分主要针对企业所有数据包括内部数据和外部购买数据的管理全过程,具体涉及以下模块。


(1)元数据管理:为业务术语、技术术语、操作过程等描述数据生命周期的各个环节的数据,是描述和解释数据的数据,主要作用是进行查询、血源分析和影响分析。元数据就相当于所有数据的基础信息、是数据治理的地基。因此在做其他数据治理模块前应该做元数据管理,且元数据管理应做到大而全、应收尽收。


(2)主数据管理:打通数据孤岛。主数据基本上是业务核心数据,且企业中相同的业务数据在不同的业务部门中的定义和概念不同是非常普遍的,这就对主数据管理提出了非常大的挑战,即如何协调业务部门之间达成共识是关键。主数据管理通常有3种模式:强制业务系统统一主数据、非标准的主数据不允许进入主数据的数据库、采用“可信源+黄金记录”方法识别正确的主数据。企业可以根据自身企业文化和管理现状选择适合自己的主数据管理模式。


(3)参考数据管理:参考数据基本上都是标准化的,如国际标准、国家标准、地方标准、团体标准等,可以直接使用。建议企业尽量多采用参考数据。


(4)数据质量管理:先从重要的数据开始。受企业文化和业务的影响,每个企业对数据质量高低的感受都不一样,需要企业至少从业务和技术两个维度来定义数据质量的衡量标准,有条件的企业可将资产作为第三个维度。


(5)数据集成:该模块是让数据产生价值的开始。基于业务需求、管理需求让各业务数据得以获取、清洗、加载、关联、集成为具有可消费的、具有业务主题域属性的“数据产品或半成品”。主要提供对象是管理决策、业务智能、数据协议。


(6)数据安全管理:网络安全不等于数据安全、数据安全不等于个人隐私保护,从国家法律上已经进行了区分。数据安全评估模型可参照GB/T37988-2019《信息安全技术数据安全能力成熟度模型》,从效率和投入上来看应优先进行数据权限(CRUD矩阵)、数据责任(RACI矩阵)、隐私保护、数据脱敏和数据加密等方面的安全保障工作。


(7)指标数据管理:包含所有数据的质量和安全的指标,以及用于业务数据分析的相关指标数据。指标数据会随着企业业务发展变化而不断变化,是反映企业业务当前执行情况和未来发展趋势的度量参数,一般会采用函数进行动态计算。


(8)数据管理成熟度评估:《数据管理能力成熟度评估模型》是我国数据管理领域的首个国家标准,共分为5级3类,是比较权威和全面的数据管理评估体系。对于中小企业来说可先进行基础型评估,待数字化体系建设有一定成果后再进行改进型评估或深化型评估。


(9)数据标准和数据生命周期:所有数据治理模块都需要标准化和全生命周期管理。


(10)发掘业务已存在问题:在传统管理模式下,很多企业业务的问题被人为忽略,最终反映在管理办公会上的通常都是影响比较严重的或积压较长时间爆发出来的问题,解决成本往往比较高。而数据治理通过对数据的解析、分析可以发现业务已经存在但并未引起重视的一些问题,进而改进业务并解决这些问题,可以降低解决成本、经营风险、提高效率、改进流程等。因此,企业数字化建设过程也是企业解决自身问题的一个过程。


3.生产经营:经过数据治理的数据通过数字化展现,如统计分析报表、商业智能、大屏等给企业管理层提供生产经营管理决策的数据依据。同时,通过系统流程化将决策结果转换为各层级任务目标并快速执行落地,形成“决策—执行—反馈再决策—调整再执行”的生产经营管理闭环。


4.业务智能:随着数据治理将企业业务数据的质量提升,高质量数据可以通过AI算法,辅助业务分析人员实现业务的预测和创新业务的开拓,使得企业更具有竞争力。


5.数据协议:高质量的数据是有可能进入生产要素流通环节的,根据企业业务发展需要即可实现集团型企业之间的数据共享,也可以将数据直接进行售卖或交换,以及数据跨境交易等。


三、数字化人才培养体系


(一)设计概览


企业数字化人才培养体系的目标是培养新型数字化人才,既懂业务又懂技术的数字化人才。由于目前新型数字化人才高校没有针对性、成熟的专业,且社会招聘也是一人难求,因此需要企业从内部挖掘、培养数字化人才。文章考虑到中小企业对数据管理、数据治理实际的、常用的、通用的应用场景,只列出必要的知识模块。


(二)体系构成


如上图2所示,数字化人才培养体系分为3个部分:数据治理培训、数据逻辑培训和业务逻辑培训,如下。

图2 数字化人才培养体系


1.数据治理培训:目前国内在数据治理知识领域比较形成体系化的认证是DAMA的CDGA和CDGP,企业可以鼓励员工考取认证或聘请讲师根据企业实际情况进行内部培训。由于数据建模是数据库知识领域、数据安全也是单独的知识领域,因此这两个模块的培训需要单独进行,在本体系中仅做入门介绍和必要的知识讲解。工具方面考虑到中小企业对性价比的要求做了必要化和最小化,任务调度工具负责数据的E(获取)T(准换)L(加载)工具的任务执行编排,中心数仓作为数据加载后统一的存储位置等待上层应用工具的数据调用。数据湖一般是有非结构化数据时才会用到。


2.数据逻辑培训:这部分的知识主要来自经验的积累,文本、时间、指标、逻辑等函数公式都是标准的,但是如何基于上层的业务逻辑需求来组合实现就是通过不断尝试、验证、调整的经验得到的。通常也跟企业所在行业和领域有关,企业可聘请讲师进行专题训练或与相同行业和领域的企业进行专题讨论交流。工具方面主要是对大屏和BI的应用,主要对已经发生的业务数据进行统计、分析、展现,以及少量的业务预估。AI的应用建议在数据治理成熟度评估达到3级(企业级管理)或4级(可量化管理)时再考虑使用,因为高质量的数据是AI分析准确的基础。


3.业务逻辑培训:业务逻辑培训一般由企业内部的企业管理层和业务专家提供,该部分培训是企业业务培训的扩展,从业务讲解扩展到下层对数据逻辑的需求,需要业务人员既要懂业务又要学会如何将业务目标拆解为数据需求,并可识别数据反馈的验证过程和结果是否符合业务逻辑。该培训对于企业来说至关重要,对自身业务的理解能力是企业能够做好数字化建设的关键能力之一。


四、数据管理系统平台


(一)设计概览


数据管理系统平台为企业展示了企业数字化系统需要哪些实用功能,为企业搭建应用架构和技术架构提供参考依据。同时,也为企业未来的数字资产交易和产业数字化整合、联盟提供预留扩展能力。


(二)平台构成


如图3所示,数据管理系统平台由实时数据处理(R)、数据批量抽取(E)、数据加载(L)、数据清洗转换(T)、数据应用(A)和数据服务(S)共6个部分组成,系统命名RELTAS。具体功能介绍如下。

图3 数字化管理系统平台


1.实时数据系统:提供实时数据或准实时数据的存储和抓取功能。实时数据由于时效性的原因,需要在业务系统完成格式转换和数据解释,无需经过数据转换系统可直接被加载使用。


2.数据抽取系统:通过定时任务批量获取业务系统的源数据或导入参考数据或外部数据,并做简单的分类如主数据、参考数据、元数据和其它源数据。


3.数据转换系统:提供数据清洗、转换和集成,在新增加数据清洗、转换规则前先对当前数据做一次数据质量评估1并生产报告,作为数据质量基线。元数据、主数据和参考数据的管理会生成数据清洗、转换规则,这些规则将应用于业务源数据,在完成数据集成后数据将被加载。


4.数据加载系统:将清洗、转换、集成完的数据,以及实时数据进行中央数仓加载,另外如果企业部署了数据湖,源数据也可以直接先加载,待需要用的时候再进行清洗、转换和集成。数据加载完成后可以进行数据质量评估2,用于比较与数据质量评估1之间的差异,可评估数据质量管理的成效。数据加载系统最重要的部分是中央数仓(数据湖的可选项),所有数据均需要加载进中央数仓,业务主题域和数据集基于中央数仓的数据进行配置。数据权限和数据脱敏(包含静态脱敏和动态脱敏)在业务主题域和数据集中进行配置,该系统仅设计了最基础的数据安全功能,如需专业数据安全系统如数据库防火墙等则需另行单独设计。


5.数据应用系统:提供业务数据报表、统计分析、展示、预测,以及数据资产管理。该系统主要为企业管理层、业务部门和财务部门使用的系统,一般采用自助式配置服务,即业务人员自行配置文本、时间、指标、业务逻辑函数来制作报表和看板,只有AI算法或大屏由技术人员进行配置。


6.数据服务系统:提供数据资产交易、数据共享、数据交换和数据计算的接口服务,支持对接第三方数据交易平台、集团企业内部数字化系统,以及产业合作伙伴数字化系统。


随着数字经济的发展、产业数字化的建设,企业数字化管理系统将会十分普及,尽早建设数字化管理体系和系统有助于加快企业数字化转型、提高企业竞争力,使企业在第三次数字化浪潮(物联网和远程信息)来临时可乘风破浪。


作者:中材高新材料股份有限公司北京分公司 李金龙


读大数据应用最佳实践案例,赢数字经济未来!

18个行业,106个中国大数据应用最佳实践案例:

(1)《赢在大数据:中国大数据发展蓝皮书》;

免费试读:https://item.jd.com/12058569.html

(2)《赢在大数据:金融/电信/媒体/医疗/旅游/数据市场行业大数据应用典型案例》;

免费试读:https://item.jd.com/12160046.html

本册“微信读书”免费阅读:https://weread.qq.com/web/bookReview/list?bookId=f0532d707159f0dff058c4e

(3)《赢在大数据:营销/房地产/汽车/交通/体育/环境行业大数据应用典型案例》;

费试读:https://item.jd.com/12160064.html

(4)《赢在大数据:政府/工业/农业/安全/教育/人才行业大数据应用典型案例》。

免费试读:https://item.jd.com/12058567.html

或点击“阅读原文”,购买“赢在大数据系列丛书”。

推荐文章


点击蓝色标题即可阅读全文

10万读者睿选2016年TOP1002015年TOP100

CCTV大数据名人讲堂PPT&视频:万亿元大数据产业安全城市】【农业航运】【数据资产变现

DTiii:3352家大数据产业地图PPT及下载】【TOP100】【亿元俱乐部中国大数据行业应用Top Choice 2019】【赢在大数据
数字化转型:工作手册战略路径百家企业零售转型路银行人才组织工业华为
卡特彼勒美的100亿,百丽美的历程美的PPT华为数据之道转型战略毕马威转型方法论阿里方法论
元宇宙:清华大学元宇宙、北京大学元宇宙

 ChatGPT:官方使用手册 15美元使用指南 技术详解 工作原理

数据中台:凯哥八问颠覆数据工程师阿里滴滴数据中台中台报告数据中台建设之道高峰论坛视频回放富国银行和Netflix数据中台 民生银行数据中台

数据资产:德勤阿里数据资产评估,PPT阿里巴巴数据资产管理实践,阿里&毕马威PPT2021数据资产运营白皮书数据资产目录建设之数据分类全解数据资产管理的5个步骤和6个要素普华永道:数据资产化前瞻性研究白皮书【实践】商业银行数据资产管理体系建设实践报告【行业】银行数据资产的数据治理【案例】附表:芝麻信用元素表(DAS)列表及含义


院士:李国杰【(PPT)(全文)】【数据开放】,邬贺铨倪光南【大数据时代)()】,怀进鹏梅宏

大数据100分:【金融】【制造】【餐饮】【电信】【电商】【更多行业大数据应用请点击底部导航栏BD100分】;

大数据/人工智能数据竞赛:Kaggle经验分享NetFlix百万美金】【Kaggle案例】【2017BDCI】【2017BDCI嘉年华2018BDCI嘉年华滴滴算法大赛】

征信:ZestFinance】【BCG】【芝麻信用】;

工业4.0:罗兰·贝格】【安筱鹏

人工智能:阿里&BCG】【埃森哲经济社会】【美国AI国家战略伯努利李开复】【TOP100】【2016中国AI报告】【美国AI国家规划】【深度学习】【人智合一】【人脸识别】【人脸识别企业PK】【无人驾驶】【AI知识体系】【神经网络

区块链:TED视频】【麦肯锡】【毕马威】【高盛】【全球区块链报告

算   法: 【10大经典算法】【推荐算法

数据科学家:13个真实场景数据科学应用案例数据科学家工具包,数据科学家成指南让统计"看得见"21个面试题和答案

可视化:【2017年获奖2014年最佳】【十大标志性作品】【43款工具

PPT:【大数据产业地图】【数据之巅互联网的未来】【软件正吃掉整个世界】【互联网思维】【互联网+】【一带一路】;

VC:【独角兽研究报告】【大数据投资】【2015创投趋势】【2014投资报告】【倒闭教训

人才:【2018BD&人才报告2017BD&人才报告

大数据应用最佳实践案例:18个行业106个案例

BDAI100:大数据AI产业创新与投资百人会(BDAI100),致力推动1000家亿元BDAI企业涌现、推动BDAI与100万亿实体经济的深度融合、加速10万亿数据经济腾飞(简称“BDAI100十百千工程”)

原创:陈新河:万亿元大数据产业新生态软件定义世界,数据驱动未来数据交易互联网+观点】。

专题版本:20220608V3.91

底部新增导航菜单(点击顶部“软件定义世界(SDX)”,点击“进入公众号”,底部菜单栏即出现),下载200多个精彩PPT,持续更新中!

上下滑动查看更多精选专题内容

微信公众号:软件定义世界(SDX)

微信ID:SDx-SoftwareDefinedx

软件定义世界, 数据驱动未来;

❷ 大数据思想的策源地、数字化转型的指南针、创业者和VC的桥梁、政府和企业家的智库、从业者的加油站;

个人微信号:sdxtime,

邮箱:[email protected]

=>> 长按右侧二维码关注。

底部新增导航菜单,下载200多个精彩PPT,持续更新中!