为什么数据分析计划总是失败?

点击上方“ 蓝色字体 ”，选择  “ 置顶公众号 ”

关键讯息，D1时间送达！

高管们谈论的大多是普通数据的价值，但Navient Solutions公司的企业数据情报总监Michele Koch却可以计算出公司数据的实际价值。事实上，Koch可以用实际的美元计算出公司的各种数据元素所带来的收入增加和成本下降。因此，她明白，Navient的数据中存在能够损害其企业底线的问题。例如，客户档案中的关键数据字段中的一个错误就可能意味着该公司无法以最低的成本处理贷款。

“由于这里涉及金钱，因此我们需要一个数据质量仪表板，用以跟踪所有的、我们追踪的、实际的、潜在的价值。”Koch说。

另外，首席数据管理员兼财务副总裁Barbara Deemer表示，位于特拉华州威尔明顿的一家资产管理和业务处理服务公司Navient内部的一项早期数据相关举措展露了风险。2006年的举措侧重于提高营销数据质量，并产生720万美元的投资回报率，并从增加贷款量和减少运营支出中获得回报。

Koch说，从那以后，Navient公司的高管们都承诺支持强有力的数据治理计划，这是成功分析工作的关键部分。Navient的治理计划包括长期公认的最佳实践，例如标准化数据字段的定义和确保干净的数据。它为大约2600个企业数据元素分配所有权。所有权属于数据字段最初产生的业务领域，要么转到特定数据字段是其流程更不可或缺的业务领域。

该公司还有一个数据质量计划，积极监测领域的质量，以确保不断满足高标准。该公司还推出了数据治理委员会(2006年)和分析数据治理委员会(2017年)，以解决持续存在的问题或疑虑，在整个企业做出决策，不断改进数据操作以及数据如何为公司的分析工作提供支持。

Koch说“数据对于我们的商业计划和新的商业机会非常重要，我们希望将重点放在改进支持我们分析程序的数据上。”

根据数据治理方案公司Erwin和UBM的数据治理，大多数高管都认为以合规、客户满意度和更好的决策为主要驱动力的数据治理是至关重要的。然而，报告发现，近40%的响应组织没有单独的数据治理预算，约46%的组织没有正式的数据治理策略。该项调查结果基于包括CIO、CTO、数据中心经理、IT人员和顾问等在内的118个受访者的问题。

鉴于这些数据，专家表示，许多企业数据项目中存在弱点并不意外，下面是7个此类问题的数据实践。

数据治理专业组织的通信副总裁Anne Buff说，在当今的数据和分析领域中，集成是最重要的挑战之一。

诚然，许多组织将所有数据集中在一个地方。但在现实中，他们并没有整合来自多个数据源的各个部分。因此，来自一个系统的Bill Smith与其他系统产生的数据(以及它完整的变化)都没有关系，这给业务带来了多个不完整的定义。

共存数据与集成该数据不同，你必须有一种方法来匹配来自不同来源的记录，你需要做到当这一切都结合在一起时，它应该创造更大的观点，并且利用一些东西来作为连接点。

不同的数据集成技术可以实现这一点，选择、实现和执行正确的工具对于避免过多的手工工作或重复做相同的工作是至关重要的。

此外，整合正变得越来越重要，因为数据科学家正在寻找数据中的模式，以获得能够产生突破、竞争优势等方面的洞见。

“但是，如果你不能把从前从未合并过的数据组合在一起，你就找不到这些模式。”北卡罗纳州Cary的SAS资讯业务解决方案经理Anne Buff说到。

是的，整合的数据对于一个成功的分析程序至关重要。但一些商业用户可能需要不同版本的数据。一种形式的数据不能满足整个组织内每个人的需求。

相反，它需要考虑数据供应，即提供由业务用户或业务部门确定的业务案例所需的数据。

以一家金融机构的不同需求为例。虽然一些部门可能需要整合数据，但欺诈检测部门可能希望其数据科学家使用不受约束的数据，这样他们就可以搜索到危险信号。他们可能想在同一个地址搜索某人，使用他们个人身份信息的细微变化来申请多个贷款。

“你将会看到类似的数据元素，但有一些变量，所以你不想把这些差异弄得太大，把它弄得太干净，”Anne Buff解释说。另一方面，她还表示，金融机构的营销部门希望有正确的客户名称、地址和合适的目标通信。

随着公司试图超越基本商业智能，以预测和规范分析，以及机器学习和人工智能，它们需要提高数据团队的专业水平。这使得数据科学家的地位受到了关注，另外数据工程师也同样重要，他们需要手机数据来完成数据科学家的工作，但到目前为止，这在许多企业中受到的关注都较少。

Bain & Co.旧金山办公室的合伙人、高级分析和数字实践的领导者Lori Sherer说，这种情况一直在改变。“我们看到，对数据工程师的需求增长大约是数据科学家需求增长的两倍，”Sherer说。

美国联邦劳工统计局(federal Bureau of Labor Statistics)预计，未来10年，对数据工程师的需求将继续快速增长，2016年至2026年，美国经济将增加44,200个职位，平均年薪已达135,800美元。

然而，就像许多关键岗位一样，专家们表示，没有足够的数据工程师来满足需求——这使得IT部门现在才刚刚开始招聘或培训招聘岗位。只招聘数据科学家，而不是数据工程师。

在过去的十年中，存储成本急剧下降，使其能够更轻松地存储大量的数据，比以前任何时候都要长。考虑到目前数据的容量和速度以及对数据的分析需求的增加，这似乎是个好消息。

不过，佛罗里达州Apollo Beach咨询公司Eagle Consulting的联合创始人Penny Garbus表示，尽多人都对拥有大量数据的价值表示欢迎，这往往都是好事。Garbus说，太多的企业对数据持有的时间太长。她说:“你不仅要为它付费，而且如果它存储超过10年，那么信息就很可能脱离时代了。”“我们鼓励人们在上面写注明时间表。”

Garbus说，数据的截止日期不仅从组织到组织，每个部门都不同。零售公司的库存部门可能只需要相对较近期的数据，而市场营销可能需要数年的数据来跟踪趋势。

如果是这样的话，它需要实现架构，将数据的正确时间框架交付到正确的位置，以确保每个人的需求得到满足，并且旧数据不会损坏及时的分析程序。

正如Garbus指出的那样，仅仅因为你必须保存(旧数据)，并不意味着你必须把它放在你的核心环境中。你只要拥有它就行了。

Bain & Co.旧金山办公室的合伙人、该公司高级分析和数字实践的领导者Lori Sherer说，这种情况一直在改变。我们看到，对数据工程师的需求增长大约是数据科学家需求增长的两倍。美国联邦劳工统计局(federal Bureau of Labor Statistics)预计，未来10年，对数据工程师的需求将继续快速增长，2016年至2026年，美国经济将增加44,200个职位，平均年薪已达135,800美元。

然而，就像许多关键岗位一样，专家们表示，没有足够的数据工程师来满足需求——这使得IT部门现在才刚刚开始招聘或培训招聘岗位。

IT咨询公司Booz Allen Hamilton的高级副总裁Steve Escaravage说:“我们仍在构建模型，并使用最有效的数据进行分析，而不是使用最相关的数据。”

他说，组织经常错误地认为他们应该捕捉并添加越来越多的数据集。他们认为“也许有些东西我们没有找到，而不是怀疑数据的正确性”

考虑到许多机构通过分析大量数据来寻找异常现象来判断欺诈行为。在一个重要的活动中，领先的机构也会分析更有针对性的数据集，从而产生更好的结果。在这种情况下，他们可能会关注那些产生某种交易的个人或机构，这些交易可能预示着麻烦。或者，医疗机构在分析病人的结果时，可能会考虑到医生在提供病人护理时的轮班时间。

Escaravage表示，组织可以从创建一个数据愿望清单开始。尽管这一过程从业务方面开始，“捕获它并使其可用的机制，这是CIO、CTO或首席数据官的领域。”

今天的一个大主题是“分析偏见”，它可以扭曲结果，甚至产生错误的结论，导致糟糕的商业决策或结果。Escaravage说，在企业分析程序中，产生偏差的问题存在于许多不同的领域，包括如何处理数据本身。

他说，通常情况下，追踪数据来源的工作做得不够好。

“如果你不知道这一点，它就会影响你的模型的性能，”Escaravage说，他注意到数据来源的不可见性，以及数据来源如何使得控制偏见变得更加困难。

“了解数据来自哪里以及发生了什么，是我们的责任。”在数据管理方面有如此多的投资，但也应该有一个元数据管理解决方案。