用分布式爬虫搞点数据回来！

学习收益：

1.  掌握 分布式 爬虫的实现原理以及常用的使用场景，例如内容聚合、过程跟踪、比价、数据挖掘等

2.  掌握分布式系统架构设计

3.  掌握常用数据库的原理和使用、开发中需要注意的重点

4.  了解如Google、百度、今日头条等互联网公司的产品技术和解决方案

5.  了解从文本采集到存储、分析的全套流程，会涉及基础的机器学习、文本分类和搜索引擎的原理

6.  针对不同任务，能快速开发网络爬虫满足业务需求

主讲老师： 杨  真

曾就职于Sun中国工程研究院，负责Java 虚拟机的定制开发工作；之后就任腾讯无线部门技术负责人，引领开发了第一版的欢乐斗地主、QQ空间移动版及QQ音乐；2013年自主创业并任公司CTO，开发了多款基于爬虫、大数据及搜索引擎的商业应用及产品。硕士毕业于北京航空航天大学计算机专业，一直从事软件研发工作，具备丰富的互联网产品研发经验。

开课时间： 2017年6月8日

学习方式：

在线直播，共14次

每周2次（ 周二、四晚上20:00-22:00 ）

直播后提供录制回放视频，在线反复观看，有效期1年

升级内容：

1.  围绕微博的抓取、存储、提取和文本分析来展开

2.  增强了计算机架构与分布式系统的设计，例如负载均衡和任务队列的大篇幅介绍

3.  增加了对于数据库性能及优化的关键方法和原理的介绍，例如深翻页、查询优化、索引优化，Redis 队列原理及优化等

4.  在第一期使用简单Socket实现消息队列的基础上，增加了对成熟分布式架构（ZooKeeper）、消息队列（RabbitMQ）等的介绍，便于学员根据系统复杂度的提高而升级

课程大纲

第一课 静态网页爬虫：爬虫的基础技术

1.  HTML

2.  CSS 选择器

3.  JavaScript 介绍

4.  lxml 及 XPath

5.  Python 里的网络请求

6.  高速位缓存设计：BloomFilter

7.  第一个爬虫：蚂蜂窝的游记

第二课 登录及动态网页的抓取

1.  表单

2.  网站登录及Cookie

3.  Headless 的浏览器：PhantomJS

4.  浏览器的驱动：Selenium

5.  动态网页数据获取

第三课 微博的抓取

1.  微博网站分布及结构分析

2.  通过动态页面来抓取

3.  微博网络接口的逆向分析

4.  Java 的反编译

5.  加密库

6.  源代码的接口分析

7.  利用API来抓取微博

第四课 多线程与过进程的爬虫

1.  线程与进程

2.  Python 的多线程约束

3.  多个线程同时抓取

4.  多个进程同时抓取

第五课 微博数据的存储：分布式数据库及应用

1.  SQL 与 NoSQL

2.  Hadoop 架构

3.  HDFS

4. HBase

5.  MongoDB

6.  Redis

7.  基于分布式数据库的分布式爬虫

第六课 多机并行的微博抓取：分布式系统设计

1.  Socket 编程

2.  Master 设计

3.  Slave 设计

4.  任务调度及通信协议

5.  分布式集群部署的爬虫

第七课 分布式系统进阶：复杂的分布式机制

1.  分布式应用协调服务：ZooKeeper

2.  分布式消息队列管理：RabbitMQ/Kafka

3.  服务发布及注册

4.  灰度升级

第八课 微博数据查询：分布式数据库系统的优化及负载均衡

1.  复制与分片

2.  流量控制及均衡

3.  分布式事物及锁

4.  Redis 的核心技术介绍

5.  MongoDB 的关键技术

6.  MySQL 的查询过程介绍及优化要素

第九课 PageRank、网页动态重拍及应对反爬虫技术的手段

1.  PageRank 计算模型及推导

2.  网页抓取顺序重排

3.  网站服务架构

4.  寻找与利用分布式服务器

5.  多IP技术与路由控制

第十课 验证码的处理，京东、淘宝的数据抓取及存储案

1.  基于距离的图片比

2.  基于 TesseractOcr 的数字识别

3.  其它验证码识别方

4.  京东数据抓取

5.  淘宝数据抓取

第十一课 网页内容排重

1.  SimHash

2.  海明距离

3.  海量数据的相似度计算

4.  网页排重