大数据架构的6大问题，企业一定要考虑

首先需要考虑的第一个问题是组织是否要购买大型数据系统或从头开始构建。Teradata，SAS，SAP和Splunk的热门产品可以买到并简单实现，而Hortonworks，Cloudera，Databricks，Apache Flink可用于构建大型数据系统。

Minton表示，购买所花费的时间成本小，商品在使用上更加简单，同时价值也更高。但是，不好的一面是，简单性通常会带来更高的成本，而这些工具通常在低多样性数据方面效果最佳。

许多用于构建大数据系统的流行工具价格低廉或可以免费使用，并且它们可以更容易地利用独特的价值流。其建设路径为大规模和多样化提供了机会，但是这些费用较低的工具可能非常复杂。管理员面临的最大问题往往是互操性。

Minton表示，由Oracle，Hadoop MapReduce和Apache Spark等产品提供的批量数据是描述性的，可以处理大量的数据，经常被用来建立一个数据科学家进行实验的产品平台。

像Apache Kafka，Splunk和Flink这样的产品可以提供能够捕获的流数据功能，以创建潜在的预测模型。Minton表示，使用流式传输数据，其速度胜过数据保真度，但也提供了巨大的规模和多样性。这对于认同DevOps文化的组织更为有用。

Twitter是lambda架构的一个例子。其数据被分为两个路径，其中一个路径被馈送到速度层进行快速分析，而另一个路径导致批处理和服务层。Minton表示，这种模式使组织能够访问批量和流媒体的见解，并平衡有损流。他说，这里的挑战是人们必须管理两个代码和应用程序基础。

Kappa架构将所有内容都视为流，但它是一个旨在实时保持数据保真度和流程的实时处理。所有数据都将写入不可变日志，以检查更改。其硬件高效，代码较少，这是Minton推荐给开始实施大数据的组织的一种模式。

大数据的公共和私有云需要许多相同的考虑。对于初学者来说，一个组织必须考虑到最适合他们的人才工作的环境。另外，还应该考虑数据来源，安全性和合规性需求，以及弹性消费模型。