专栏名称: 炼数成金前沿推荐
关注炼数成金,学习数据挖掘与分析技巧,了解最新快的数据分析课程信息。更多知识更多优惠,尽在炼数成金!招募天下好汉,一起炼数成金!
目录
相关文章推荐
BCG波士顿咨询  ·  中国传统外贸企业的新出海浪潮:渠道篇 ·  23 小时前  
要资讯  ·  大商所期货品种之玉米和玉米淀粉(下) ·  3 天前  
51好读  ›  专栏  ›  炼数成金前沿推荐

《Spark Streaming企业级项目实战以及深度源码剖析》全网首开 深度实战,培养高薪人才

炼数成金前沿推荐  · 公众号  ·  · 2018-01-10 16:30

正文

本课程是Spark Streaming的高级进阶课程,首先是深度剖析了Spark Streaming的源码,让同学们可以对Spark Streaming技术掌握的足够深入,理解的足够透彻。接着又基于Spark Streaming完成了多个企业级的项目实战,让大家可以在真正的项目中去掌握如何基于Spark Streaming来进行开发。


这些项目包含了:互联网公司用户流量实时大盘、广告系统实时数据平台、微博热点话题实时探测系统、微博社交关系实时挖掘平台、股票交易分析实时大盘、实时用户画像系统、实时个性化推荐系统。每个项目都包含了对应的技术架构、真实业务、高级算法,是不可多得的大数据实战课程。


课程大纲:

第一课:Spark Streamin深度源码剖析(上)

(1)Spark Streaming整体架构剖析

(2)基于Receiver+Kafka接收数据的源码剖析

(3)基于DStream生成RDD的源码剖析

(4)基于JobGenerator生成Job的源码剖析


第二课:Spark Streaming深度源码剖析(下)

(1)Spark Streaming Driver容错的源码剖析

(2)Spark Streaming Executor容错的源码剖析

(3)Spark Streaming State相关操作的源码剖析

(4)Spark Streaming Window相关操作的源码剖析


第三课:互联网公司用户流量实时大盘实战

(1)互联网用户流量分析业务介绍

(2)互联网用户流量分析架构设计:Spark Streaming+Kafka+HBase

(3)完成互联网用户流量指标体系的开发

(4)实时计算作业上线运维:部署、代码升级以及监控

(5)对Spark Streaming作业进行初步的性能优化

(6)基于前端展示用户流量分析大盘


第四课:广告系统实时数据平台架构实战(上)

(1)广告系统实时数据平台的业务介绍以及架构设计

(2)完成广告用户与客户价值的实时数据指标体系开发

(3)完成广告运营与营销活动的实时数据指标体系开发

(4)基于广告实时数据支持的点击率预测

(5)基于广告实时数据支持的精准广告营销


第五课:广告系统实时数据平台架构实战(下)

(1)广告系统实时数据平台架构优化设计

(2)基于Spark Streaming checkpoint实现全流程的容错机制

(3)基于Spark Streaming实现全流程的exatcly once语义

(4)基于Kafka实现数据不丢失的技术方案

(5)基于前端页面展示广告数据分析


第六课:微博热点话题实时探测系统架构实战(上)

(1)微博热点话题探测业务介绍

(2)微博热点话题探测系统架构设计

(3)基于Flume+Kafka完成实时微博数据的接入

(4)自己动手改进FP-Growth频繁集挖掘算法

(5)基于改进后的繁集挖掘算法完成热点话题的实时探测


第七课:微博热点话题实时探测系统架构实战(下)

(1)基于Spark自己动手实现word2vec算法

(2)基于自己实现的Spark word2vec算法实现关联热点话题挖掘

(3)基于Spark Streaming完成实时计算作业开发

(4)基于前端页面展示微博热点话题


第八课:微博社交关系实时挖掘平台实战(上)

(1)微博社交关系实时数据分析平台业务介绍以及架构设计

(2)Titan分布式图数据库介绍

(3)Cassandra分布式NoSQL数据库介绍

(4)Elasticsearch分布式搜索引擎介绍

(5)基于Spark Streaming+GraphX+Titan完成微博社交关系挖掘


第九课:微博社交关系实时挖掘平台实战(下)

(1)基于Spark Streaming+文本挖掘完成微博用户的情感分析

(2)基于Spark Streaming完成微博用户群分析

(3)基于Spark Streaming完成用户城市地图分析

(4)基于Spark Streaming完成热门话题趋势分析

(5)基于前端页面展示微博社交数据


第十课:股票交易分析实时大盘系统实战

(1)股票分析业务介绍

(2)实时股票分析大盘系统架构设计

(3)Druid分布式OLAP引擎介绍

(4)结合Spark Streaming + Druid完成股票数据实时分析

(5)结合Spark Streaming完成实时热门股票排行

(6)结合Spark Streaming完成实时股票走势预测

(7)基于前端页面展示股票分析数据


第十一课:实时用户画像系统架构实战

(1)实时用户画像组成分析

(2)实时用户画像的标签数据字典

(3)实时用户画像的兴趣度模型

(4)基于Spark Streaming实现一套实时用户画像系统

(5)基于ElasticSearch对实时用户画像数据进行分析


第十二课:实时个性化推荐系统架构实战(上)

(1)基于Flume+Kafka实现用户行为的实时采集与清洗

(2)基于实时用户画像构建数据仓库

(3)针对元数据库构建实时索引

(4)基于Spark Streaming完成第一个版实时个性化推荐系统


第十三课:实时个性化推荐系统架构实战(下)







请到「今天看啥」查看全文