数据集市的挑战是识别和处理数据安全

原文: Data Marketplace Governance Gets Personal

来源: http://www.dataversity.net/data-marketplace-governance-gets-personal/

品觉导读：

1. 你怎么知道哪些数据需要保护？有的人把所有数据都封锁起来，这限制了需要数据的用户获取数据，大幅降低数据的价值。有的人可能会定义他们“认为”敏感的属性，这会使本应被保护的未知属性处于未被保护的险境。

2. 有一些提供商在做PII探测，而且做得很好，堪为表率。你要找的提供商应该是已经开发出了作为数据打通（data on-boarding）一部分的流程和技术，在字段层面上及早发现可能敏感的模式。

3. 大数据治理不是从物理上把沙盒和生产数据分割开来，而是在数据从“未经加工”到“准备就绪”的成熟过程中，从逻辑上控制数据的访问和使用。你怎么知道数据是否准备好用于生产？看元数据。任何支持生产使用数据的大数据平台都必须拥有元数据，追踪数据摄取、安全、验证、准备和使用的周期。

原文翻译：

由于企业数据可见性的增强和数据安全团队的要求，数据集市团队面临的挑战是确保某些客户属性被识别和“处理”。要求技术提供商演示对潜在敏感数据的自动识别和操作，以此来解决这个问题。

简而言之，测试包括摄取一个提供的样本数据集，然后演示该平台大幅简化和加快准备和交付自助式业务就绪数据的能力，包括潜在敏感数据的识别和治理。

信息治理涵盖多个方面，包括准确性、完整性、一致性、可访问性、隐私和信息安全。在本文中，我们不讨论信息治理的所有方面，而是专注于数据安全及其在这一背景下的意义。

聚焦PII：个人可识别信息

数据集市旨在向企业用户提供高质量的自助式数据，帮助他们更快地获得洞见。更容易访问更多数据，这只会加剧要求企业安全团队为所有这些可用新信息提供安全保障的重要性。

如果你正在打造一个精心设计、有效执行的数据集市，你可能面临很多挑战，包括如何保护你的数据。所有的安全措施都用上了：AD、ACL’s、Kerberos、加密等等。然而，数据安全的一个方面常常被忽视：你怎么知道哪些数据需要保护？有的人把所有数据都封锁起来，这限制了需要数据的用户获取数据，大幅降低数据的价值。有的人可能会定义他们“认为”敏感的属性，这会使本应被保护的未知属性处于未被保护的险境。

“到2018年，90%已部署的数据湖将失效，因为以不确定的使用案例为目的而收集的信息资产会让它们不堪重负。”

想要解决这个问题，请明智地选择你的解决方案。有一些提供商在做PII探测，而且做得很好，堪为表率。你要找的提供商应该是已经开发出了作为数据打通（data on-boarding）一部分的流程和技术，在字段层面上及早发现可能敏感的模式。这不仅仅是出于安全原因。从摄取时就管理所有数据（包括管理数据访问权限），这已经解决或缓和了困扰数据湖企业的很多挑战。

各级数据专家：你需要拥有数据集市治理

首席信息官、首席技术官、首席数据官和那些参与或负责信息治理实践的人感受到了前所未有的压力。为什么？因为大多数的数据湖致力于存储和处理数据，而不是治理数据。

统计结果显示，如果IT企业员工的治理技能水平参差不齐，那么公司内部很可能存在数据孤岛，这会加剧整个企业的脆弱性和风险。

“不到10%的数据湖企业正式确定了他们的治理方法。”

融合：元数据、治理和安全

在过去两三年里，很多企业已经或者正在建立数据湖。数据湖拥有巨大吸引力：自助式按需访问所有数据，不管数据存储在哪里。但IT管理人员往往很快发现，由于不符合内部数据安全要求，自助式数据管理模式无法实现。

这意味着，用意良好的数据湖已经变成了一个累赘而不是共享库，只向一位或少数几位授权用户按需提供安全的数据。这违背了数据湖的初衷，对信息搜索者来说既耗费了资源，又没有得到好处。

大数据要求我们从头反思数据治理。大数据治理不是从物理上把沙盒和生产数据分割开来，而是在数据从“未经加工”到“准备就绪”的成熟过程中，从逻辑上控制数据的访问和使用。你怎么知道数据是否准备好用于生产？看元数据。任何支持生产使用数据的大数据平台都必须拥有元数据，追踪数据摄取、安全、验证、准备和使用的周期。

元数据=更好的数据

元数据需要管理数据访问权限、取得数据概要结果，数据开发者和终端用户的反馈。元数据储存了定义生产准备就绪的策略，而且能够执行这些策略。没有元数据，数据湖就会无法使用，并变成一个严重的安全风险。

很少有人真正知道如何把公司的内部安全政策有效地应用于数据。让当今的商业技术取代以人力进行的猜测，因为没人可能知道所有来源、所有领域的内容。利用丰富的元数据，再结合模式自动识别，这是在全公司上下推行大规模战略计划的基础。

当你制定自助式数据战略时，由元数据驱动、通过明确流程管理的数据安全不仅可以降低风险，还能为你提供超越传统数据湖、实现自助式数据集市的真正希望。

本次转自：品觉 微信公众号（pinjueche.com）

车品觉简介

畅销书《决战大数据》作者；国信优易数据研究院院长；红杉资本中国基金专家合伙人；浙江大学管理学院客席教授；全国信标委员；数据标准工作组副组长；美丽心灵基金会桑珠利民基金副主席。

原阿里巴巴集团副总裁，首任阿里数据委员会会长；现担任中国信息协会大数据分会副会长、中国计算机学会大数据专家委员会副主任、粤港信息化专家委员、中国计算数学学会第九届理事、清华大学教育指导委员（大数据项目）、浙江大学管理学院客席教授等职。