Spark2.1全干货 Hulu大数据团队负责人董西成主讲

Spark 概述（共1课时）

第一课：Spark2.1  概述

1.  Spark产生背景

     包括mapreduce缺陷，多计算框架并存等

2.  Spark 基本特点

3.  Spark版本演化

4.  Spark核心概念

     包括RDD, transformation, action, cache等

5.  Spark生态系统

     包括Spark生态系统构成，以及与Hadoop生态系统关系

6.  Spark在互联网公司中的地位与应用

     介绍当前互联网公司的Spark应用案例

7.  Spark集群搭建

     包括测试集群搭建和生产环境中集群搭建方法，并亲手演示整个过程

8.  背景知识补充介绍

     a.  Hadoop基础

     b.  HDFS简介（特点、架构与应用）

     c.  YARN简介（架构）

     d.  MapReduce简介（编程模型与应用）

           I.  Eclipse与Intellij IDEA

           II. Maven

Spark Core（共3课时）

第二课：Spark  程序设计与企业级应用案例

1.  Spark运行模式介绍

     Spark运行组件构成，spark运行模式（local、standalone、mesos/yarn等）

2.  Spark开发环境构建

     集成开发环境选择，亲手演示spark程序开发与调试，spark运行

3.  常见transformation与action用法

     介绍常见transformation与action使用方法，以及代码片段剖析

4.  常见控制函数介绍

     包括cache、broadcast、accumulator等

5.  Spark 应用案例：电影受众分析系统

     包括：背景介绍，数据导入，数据分析，常见Spark transformation和action用法在线演示

第三课：park  内部原理剖析与源码阅读

1.  Spark运行模式剖析

     深入分析spark运行模式，包括local，standalone以及spark on yarn

2.  Spark运行流程剖析

     包括spark逻辑查询计划，物理查询计划以及分布式执行

3.  Spark shuffle剖析

     深入介绍spark shuffle的实现，主要介绍hash-based和sort-based两种实现

4.  Spark 源码阅读

     Spark源码构成以及阅读方法

第四课：Spark  程序调优技巧

1.  数据存储格式调优

     数据存储格式选择，数据压缩算法选择等

2.  资源调优

     如何设置合理的executor、cpu和内存数目，YARN多租户调度器合理设置，启用YARN的标签调度策略等

3.  程序参数调优

     介绍常见的调优参数，包括避免不必要的文件分发，调整任务并发度，提高数据本地性，JVM参数调优，序列化等

4.  程序实现调优

     如何选择最合适的transformation与action函数

5.  调优案例分享与演示

     演示一个调优案例，如何将一个spark程序的性能逐步优化20倍以上。

Spark SQL 2.1（共2课时）

第五课：Spark  SQL基本原理

1.  Spark SQL是什么

2.  Spark SQL基本原理

3.  Spark  Dataframe与DataSet

4.  Spark SQL与Spark Core的关系

第六课：Spark  SQL程序设计与企业级应用案例

1.  Spark SQL程序设计

     a.  如何访问MySQL、HDFS等数据源，如何处理parquet格式数据

     b.  常用的DSL语法有哪些，如何使用

     c.  Spark SQL调优技巧

2.  Spark SQL应用案例：篮球运动员评估系统

     a.  背景介绍

     b.  数据导入

请到「今天看啥」查看全文