如何搭建优秀的大数据团队？

原创丨CTO训练营  内容丨CTO说回顾

如今很多企业都认可了数据的价值，比如提升业务，降本增效，开拓新产品，降低风险等等。越来越多的企业要进行数字化转型，就必定离不开大数据团队。 那么互联网企业的大数据团队是如何组织的呢？体系如何？构建的原理又是如何呢？

11月17日“CTO说”系列直播，特别邀请到了 科杰大数据CEO、 资深互联网大数据专家 于洋老师，为大家分享《如何搭建优秀的大数据团队》。希望这次直播，能让大家对大数据团队搭建有更加深入的认识和理解。

01 大数据工作内容及目标

从CTO的技术视角与技术团队的视角看数据工作，主要包含数据仓库、大数据平台、数据湖、数据中台、湖仓一体、云数仓hadoop、hive、spark、flink等等。实际上在企业组织的角度，数据工作还包含了业务视角和组织视角：

• 业务视角：报表、数据分析、数据报告、数据运营、用户画像、精准营销
• 组织视角：数据资产运营、经营分析决策、数据驱动提效、AI创新、数据价值变现

加上业务视角和组织视角，才构成了一家企业或大型组织的数据工作，真正与业务相结合，从而发挥其重要的价值。大数据部门的核心职责，就是整体构建企业的数据能力：

• 管理数据化，数据驱动管理提效
• 全业务线智能化，数据智能激发增长
• 构建集团数据生态，打造智慧型企业
  

互联网企业常见的大数据部门由平台研发部、数据仓库部、商业智能部和数据应用部这四个部门组成。不同组、不同的业务单元，对应不同的岗位。

03 大数据部门的两种组织结构

以上 是 两种典型的大数据部门的组织结构。

第一种组织结构：数据平台部作为“底座”来打造通用的基础设施；数据仓库部门进行数据整合、建立数据资产；数据应用部门进行模型、算法，对接应用系统的构建和开发；商业智能部门是一个综合的、与业务对接的服务部门。

第二种结构是升级版的结构：数据平台与数据资产是递进的关系，支撑商业智能部和数据智能部，形成两方面的应用端，能独立对接整个组织和体系。

2

企业大数据工作常见问题

数据类工作往往缺少顶层设计，需要统一规划和系统性建设。大数据团队工作通常有这五大类问题：

• 技术性问题 ：性能不满足业务要求；技术架构不清晰；迭代变化快，统一架构。

• 数据质量类问题 ：数据未能有效整合，数据不成体系；主数据&元数据不清晰；核心数据资产不明确。

• 业务端压力 ：报表迭代周期长；临时性提数、数据分析支持不过来；数据指标不准确、口径不一致，数据准备度低。

• 数据创新能力不足 ：缺乏智能项目规划能力；算法、模型人员不了解业务；数据智能项目迭代缓慢，落地性差。

• 管理效率问题 ：数据安全管控不健全；集团、BU\BG、省分数据共享差；规模化数据项目开展能力。
  

3

从需求出发构建大数据部门

大数据部门如何支撑商业智能部和数据智能部工作呢？这里我们来看看大数据部门的核心职能。

服务部门分为数据能力底座和业务支撑两大类。 数据能力底层分为两个部分，数据能力构建（运维）和数据资产管理。这两个作为底层工程和技术的支撑，由数仓部门统一进行整合以及数据资产的建设。根据不同 业务单元，划分出商业智能部和数据智能部。

作为研发体系的大数据团队，与业务线的连接越来越密切，就会从“成本中心”逐渐往“价值中心”转变。

为了有效支撑一个集团的业务体系，集团的大数据部门也会做一些演化。以开放赋能的方式，面向各个省份地区的公司大数据团队。

• 举办多场培训进行推广，包括 研发体系 （营销研发部，交易研发部）、 产品运营体系 （运营管理部，产品部）；

• 推出大数据能力认证体系，根据职能分为研发技术人员和产品运营人员，同步按周进行大数据平台使用 竞赛评分 （查询、建模、任务等）；

• 支撑绩效核算、北斗、智能客服、供应链贷、白条风控等项目在大数据平台开展。
  

通过数据能力开放赋能，让数据建模人员、数据开发人员、业务人员（运营、销售、市场）等企业的各层人员以及那些被动接受服务的人员，都能够拥有“找到数据、分析数据、消费数据”的能力，打破数据孤岛，构建数据生态型企业。

03 科杰大数据：快速构建企业自主数据能力

围绕前文提到的集团大数据部门应具备的数据能力，科杰大数据致力于以大数据技术工程软件、全域数据资产建设服务、大数据工作方法论帮助客户建立自主的核心数据能力，从而支持数据驱动、数据应用项目长期、稳定高效、规模化的开展，助力企业完成数字化转型。

Q： 老师，如果我们公司自身不设立数据分析部门，将数据分析业务外包给第三方公司，这样有风险么？

A： 会存在一定的安全风险。外包的团队很难深入理解自身公司的业务，开展难度也比较大。

Q ： 如果想从0-1建设体系化大数据能力，从哪里开始比较好？

A： 有很多传统企业BI工作、BI报表是不在一个数仓体系建立的。这类企业如果是行业头部的企业，需求增长是非常快的，整体业务都在线上线下联动，基本上就跨入了数字化的第一个阶段，就会跳过数仓去建设大数据能力。如果是处在这样的阶段，就需要用扎实可靠的产品，甚至于将数据整合类的工作都交给外部的供应商来建设，也就是我前面提到的“打底”和“打地基”的这部分工作可以直接快速跨过去，不要耗费太多的精力去造“轮子”。从0-1的搭建，不如更多地关注业务，以及对业务的数据服务赋能等等。

Q：放到业务团队的数据分析师或者数据开发人员怎么避免变成提数机器？

A： 变成“提数机器”的这种情况是很容易发生的，很多我们的数据分析师被戏称为“表哥”“表姐”。想告别“人肉 提数 机”，数据分析师和开发人员可以利用好 提数 工具，参与到我前面提到的“培训认证”之中，让业务团队被动接受服务的人员能学会自己 提数 。

- END-