专栏名称: 朱小厮的博客
著有畅销书:《深入理解Kafka》和《RabbitMQ实战指南》。公众号主要用来分享Java技术栈、Golang技术栈、消息中间件(如Kafka、RabbitMQ)、存储、大数据以及通用型技术架构等相关的技术。
目录
相关文章推荐
后沙月光  ·  美乌黑幕:他俩是如何结下梁子的? ·  昨天  
主编温静  ·  主编温静丨今天发生了什么? ·  3 天前  
CHINADAILY  ·  跑鞋,是越贵越好吗? ·  3 天前  
河南新闻广播  ·  梁东雁接受纪律审查和监察调查 ·  3 天前  
51好读  ›  专栏  ›  朱小厮的博客

2021 搞定 Kafka,这篇就够了!

朱小厮的博客  · 公众号  ·  · 2021-01-03 21:01

正文

毋庸置疑,目前 Apache Kafka 是整个消息引擎领域的执牛耳者,也 是大数据生态圈中颇为重量级的一员。从最早诞生于 LinkedIn 的“分布式消息系统”,到现在集成了分发、存储和计算的“流式数据平台”,Kafka 广泛应用于国内外大厂,比如 BAT、字节跳动、美团、 Netflix、Airbnb、Twitter 等等

我身边也有越来越多的 工程师们,把 Kafka 加入到自己的学习列表。的确, 我们仅需要学习一套框架,就能在实际业务系统中实现消息队列应用、应用程序集成、分布式存储构建,甚至是流处理应用的开发与部署 ,可谓相当超值了。

不过,想要学透 Kafka 没有想象中的那么简单,学习路径和方法尤为重要。我的建议是: 千万不要直接扎到具体的细节中,亦或是从一个很小的点开始学习。 因为你无法建立全局的认知观,从而实现系统地学习。

在我看来,针对不同的角色,Kafka 的学习路径是不一样的。

  • 如果你是 软件开发工程师 ,可以先根据编程语言寻找对应的 Kafka 客户端,然后去官网上学习代码示例,正确编译和运行这些样例。接下来,你可以尝试修改样例代码并使用其他的 API,之后观测你修改的结果。如果这些都没有难倒你,你可以自己编写一个小型项目来验证下学习成果,然后就是改善和提升客户端的可靠性和性能了。到了这一步,就熟读一遍 Kafka 文档吧,确保你理解了那些可能影响可靠性和性能的参数。最后是学习 Kafka 的高级功能,比如流处理应用开发。

  • 如果你是 系统管理员或运维工程师 ,那么学习目标应该是如何根据实际业务需求评估、搭建生产Kafka 线上环境。对生产环境的监控也是重中之重的工作,Kafka 提供了超多的 JMX 监控指标,你可以选择任意你熟知的框架进行监控。有了监控数据,作为系统运维管理员的你,势必要观测真实业务负载下的 Kafka 集群表现。之后利用已有的监控指标来找出系统瓶颈,然后提升整个系统的吞吐量,这是最能体现你工作价值的地方。

说到这里,送大家一张 Kafka 学习框架,出自 Kafka 资深专家 胡夕 之手 我想你应该听过他的书《Apache Kafka实战》,豆瓣评分 8.8 分。胡夕根据他的实战经验,把 Kafka 学习框架整理成了下图。具体地,分为 Kafka 入门、Kafka 的基本使用、客户端详解、Kafka 原理介绍、Kafka 运维与监控以及高级 Kafka 应用。

Kafka 学习框架

这些内容,出自胡夕在极客时间的专栏 《Kafka 核心技术与实战》 专栏里他会为你一一讲解,根据他对 Apache Kafka 的理解和实战方面的经验,带你从 Kafka 入门、Kafka 的基本使用、客户端详解、Kafka 原理介绍、Kafka 运维与监控以及高级 Kafka 应用系统学习 Kafka。相信学完这门课你一定能透彻理解 Kafka,并更好地应用。


👆扫描上图,免费试读

原价 ¥99,拼团 + 口令「 Happy2021 」,

到手价 ¥69 ,仅限「 前 50 人 」有效



胡夕是谁?


胡夕,现任人人贷公司计算平台部总监,也是 Apache Kafka 的一名活跃代码贡献者。

在过去 5 年中,他经历了 Kafka 从最初的 0.8 版本逐步演进到 2.3 版本的完整过程,可以说对 Kafka 及其他开源流处理框架与技术有深刻理解。他主导过多个十亿级/天的消息引擎业务系统的设计与搭建,具有丰富的线上环境定位和诊断调优经验,也曾给多家大型公司提供企业级 Kafka 培训。

他的书《Apache Kafka实战》,读者好评如潮,说内容实战,看完上手即用,在工作中帮大家解决了问题。

你可能会问, 《Kafka 核心技术与实战》专栏与书的区别又是什么呢?

其实区别还是挺大的,书是基于 Kafka 1.0 版本撰写的,但目前 Kafka 已经演进到 2.3 版本了,书中的部分内容已经过时甚至是不准确了,而《Kafka核心技术与实战》专栏的写作是 基于 Kafka 的最新版

另外,《Kafka核心技术与实战》专栏作为一次全新的交付,胡夕希望能用 更轻松更容易理解的语言和形式 ,帮你获取到最新的 Kafka 实战经验。


专栏是如何讲解 Kafka 的?

  • 专栏的第一部分会介绍消息引擎这类系统大致的原理和用途,以及作为优秀消息引擎代表的 Kafka 在这方面的表现。

  • 第二部分则重点探讨 Kafka 如何用于生产环境,特别是线上环境方案的制定。

  • 在第三部分中会陪你一起学习Kafka客户端的方方面面,既有生产者的实操讲解也有消费者的原理剖析,你一定不要错过。

  • 第四部分会着重介绍 Kafka 最核心的设计原理,包括 Controller 的设计机制、请求处理全流程解析等。

  • 第五部分则涵盖 Kafka 运维与监控的内容,助你获得高效运维 Kafka 集群以及有效监控Kafka的实战经验。

  • 最后一个部分会简单介绍一下 Kafka 流处理组件 Kafka Streams 的实战应用,希望能让你认识一个不太一样的 Kafka。







请到「今天看啥」查看全文