大数据热门文章Top6：揭秘国内首个进入Apache的高校顶级项目；为什么云原生数据湖值得关注？

点击蓝字 关注我们

了解与IT有关的人和事

最近几年，"数据湖"正在被越来越多人提起，尽管各方对数据湖的定义并不统一，但这不妨碍企业纷纷下水实践，比如亚马逊、阿里、腾讯、华为等，都在探索建设数据湖，为何众多企业开始争先进军数据湖领域呢？

一个可能的原因是，数据湖将代表大数据和AI时代融合存储和计算的全新体系，而数据湖和云原生结合以后，这一趋势更加明显：云计算可以让数据湖发挥出最大的价值与作用。本文将为你介绍云原生数据湖的发展原因和未来前景。

或公众号后台回复 J31 获取全文。

近年来，随着人工智能、物联网的兴起，大数据成为重要的生产资料，而时序数据则是这个时代避无可避的热议话题。如何提升时序数据的利用率？如何为复杂场景提供一个可靠的数据库？这些都是业内必须解决的难题。Apache IoTDB作为由清华大学发起的、全球领先的国际顶级开源项目，是支持物联网时序数据收集、存储、查询与分析一体化的数据管理引擎。根据性能对标测试，IoTDB的各项性能指标均明显优于当今国际最优的时序数据库系统。

51CTO邀请到清华大学软件学院助理研究员、 Apache IoTDB PMC 及累计贡献第一的“首席 Committer” ——乔嘉林博士，为大家分享有关开源数据库项目成长、开源社区治理、加速赋能企业等方面的观点与见解。

或公众号后台回复 J32 获取全文。

Splunk是一个著名的日志管理工具。它能够以实时方式挖掘来自于不同机器的日志数据，从而可用于监控、搜索和分析收集的数据。换句话说，它就是一个大数据日志管理工具，可以从存储在Splunk索引中的非结构化数据中提炼出决策信息。因此，Splunk分析有助于将非结构化日志数据转化为企业可以用来获取业务价值的重要信息。

本文旨在展示使用Splunk洞察IT系统的简易性。具体地说，我们将介绍如何通过Splunk来创建报告、如何创建仪表板以及如何设置警报。为了创建Splunk报告，用户需要掌握中级水平的正则表达式相关知识。总之，本文重点不在讲解理论，而是着重展示如何使用Splunk从应用程序日志文件中获取企业需要的分析结论。

或公众号后台回复 J33 获取全文。

数据模型指的是数据组织和存储的方式，它强调从业务、数据存取和使用角度有序、有结构地存储数据，数据建模有利于在性能、成本、效率和质量之间取得最佳平衡。

本文分享一篇关于《阿里大数据之路》图书的学习笔记，主要综述大数据领域的建模。

或公众号后台回复 J34 获取全文。

副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。Cruise Control作为Kafka的运维工具，它包含了Kafka 服务上下线、集群内负载均衡、副本扩缩容、副本缺失修复以及节点降级等功能。显然，Cruise Control的出现，使得我们能够更容易的运维大规模Kafka集群。

本文将解析Kafka 负载均衡在 vivo 的落地实践，助力技术人更好地解决kafka运维困难的问题。

或公众号后台回复 J35 获取全文。