大数据“重磅炸弹”——实时计算框架 Flink

正文

Flink 学习

项目地址：https://github.com/zhisheng17/flink-learning/

项目结构

 1├── README.md 2├── flink-learning-cep 3├── flink-learning-common 4├── flink-learning-connectors 5│   ├── flink-learning-connectors-activemq 6│   ├── flink-learning-connectors-cassandra 7│   ├── flink-learning-connectors-es6 8│   ├── flink-learning-connectors-flume 9│   ├── flink-learning-connectors-hbase10│   ├── flink-learning-connectors-hdfs11│   ├── flink-learning-connectors-influxdb12│   ├── flink-learning-connectors-kafka13│   ├── flink-learning-connectors-mysql14│   ├── flink-learning-connectors-rabbitmq15│   ├── flink-learning-connectors-redis16│   ├── flink-learning-connectors-rocketmq17├── flink-learning-data-sinks18├── flink-learning-data-sources19├── flink-learning-examples20├── flink-learning-monitor21│   ├── flink-learning-monitor-alert22│   ├── flink-learning-monitor-collector23│   ├── flink-learning-monitor-common24│   ├── flink-learning-monitor-storage25├── flink-learning-sql26├── flink-learning-template

博客

1、《从0到1学习Flink》—— Apache Flink 介绍

2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

3、《从0到1学习Flink》—— Flink 配置文件详解

4、《从0到1学习Flink》—— Data Source 介绍

5、《从0到1学习Flink》—— 如何自定义 Data Source ？

6、《从0到1学习Flink》—— Data Sink 介绍

7、《从0到1学习Flink》—— 如何自定义 Data Sink ？

8、《从0到1学习Flink》—— Flink Data transformation(转换)

9、《从0到1学习Flink》—— 介绍 Flink 中的 Stream Windows

10、《从0到1学习Flink》—— Flink 中的几种 Time 详解

11、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch

12、《从0到1学习Flink》—— Flink 项目如何运行？

13、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Kafka

14、《从0到1学习Flink》—— Flink JobManager 高可用性配置

15、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍

16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL

17、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ

18、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 HBase

19、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 HDFS

20、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Redis

21、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Cassandra

22、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Flume

23、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 InfluxDB

24、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RocketMQ

25、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了

26、《从0到1学习Flink》—— 你的 Flink job 日志跑到哪里去了上面几篇未给出链接的会在 https://t.zsxq.com/zV7MnuJ 公布

学习资料

另外我自己整理了些 Flink 的学习资料，目前已经全部放到微信公众号了。你可以加我的微信：zhisheng_tian，然后回复关键字：Flink 即可无条件获取到，转载请联系本人获取授权，违者必究。

   

更多私密资料请加入知识星球！

有人要问知识星球里面更新什么内容？值得加入吗？

目前知识星球内已更新的系列文章：这些全在  https://t.zsxq.com/zV7MnuJ 公布

1、《从1到100深入学习Flink》—— 源码编译

2、《从1到100深入学习Flink》—— 项目结构一览

3、《从1到100深入学习Flink》—— local 模式启动流程

4、《从1到100深入学习Flink》—— standalonesession 模式启动流程

5、《从1到100深入学习Flink》—— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动

6、《从1到100深入学习Flink》—— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动

7、《从1到100深入学习Flink》——分析 Batch WordCount 程序的执行过程

8、《从1到100深入学习Flink》——分析 Streaming WordCount 程序的执行过程

9、《从1到100深入学习Flink》——如何获取 StreamGraph？

10、《从1到100深入学习Flink》——如何获取 JobGraph？

11、《从1到100深入学习Flink》—— Flink JobManager 有什么作用？

12、《从1到100深入学习Flink》—— Flink TaskManager 有什么作用？

13、《从1到100深入学习Flink》—— JobManager 处理 SubmitJob 的过程

14、《从1到100深入学习Flink》—— TaskManager 处理 SubmitJob 的过程

除了《从1到100深入学习Flink》源码学习这个系列文章，《从0到1学习Flink》的案例文章也会优先在知识星球更新，让大家先通过一些 demo 学习 Flink，再去深入源码学习！

如果学习 Flink 的过程中，遇到什么问题，可以在里面提问，我会优先解答，这里做个抱歉，自己平时工作也挺忙，微信的问题不能做全部做一些解答，但肯定会优先回复给知识星球的付费用户的，庆幸的是现在星球里的活跃氛围还是可以的，有不少问题通过提问和解答的方式沉淀了下来。

1、为何我使用 ValueState 保存状态 Job 恢复是状态没恢复？

2、flink中watermark究竟是如何生成的，生成的规则是什么，怎么用来处理乱序数据

3、消费kafka数据的时候，如果遇到了脏数据，或者是不符合规则的数据等等怎么处理呢？

4、在Kafka 集群中怎么指定读取/写入数据到指定broker或从指定broker的offset开始消费？

请到「今天看啥」查看全文