把数据搞回来，《分布式爬虫实战》开启！

学习收益：

1、掌握 分布式爬虫 的实现原理以及常用的使用场景，例如内容聚合、过程跟踪、比价、数据挖掘等

2、了解如Google、百度、今日头条等互联网公司的产品技术和解决方案

主讲老师： 杨  真

曾就职于Sun中国工程研究院，负责Java 虚拟机的定制开发工作；之后就任腾讯无线部门技术负责人，引领开发了第一版的欢乐斗地主、QQ空间移动版及QQ音乐；2013年自主创业并任公司CTO，开发了多款基于爬虫、大数据及搜索引擎的商业应用及产品。硕士毕业于北京航空航天大学计算机专业，一直从事软件研发工作，具备丰富的互联网产品研发经验。。

开课时间： 2017年2月12日

学习方式：

在线直播，共12次

每周2次（周四、日晚上20:00-22:00）

直播后提供录制回放视频，在线反复观看，有效期1年

课程大纲：

1、互联网、互联网架构方面介绍，网站基本原理及扫盲

互联网的暴露方式

URL

静态网页

动态网页

Web Service

网站分析及评估

Robox.txt

网站地图

估算网站及内容数量

分析网站所使用的技术

网站分析常用工具及方法

2、爬虫基本原理、搭建第一个爬虫

网页结构分析

宽度OR深度？

设置爬虫偏好

设计爬虫队列

任务分配

Visited 列表

去重

3、分布式爬虫

分布式爬虫

串行爬虫

多线程爬虫

多进程爬虫

线程、进程及多机之间的协作

分布式存储及处理

HDFS

MongoDB

Redis

常用数据处理方式

4、爬虫与反爬虫的对抗

动态内容

验证码

表单交互

登录及访问限制

5、处理HTML页面

正则表达式

HTML 解析

WebView、Javascript 直接处理页面

NLP 及分类器

6、去除网页中的噪声

数据清洗

噪声对网页 的影响

利用统计学消除噪声

利用视觉消除噪声

7、内容去重

定义重复

排重

指纹技术的应用

8、网页内容处理：文档、视频、音频

PDF 文件及内容处理

Office 内容抽取

RTF 内容抽取

多媒体内容

视频及视频关键帧

音频抽取

9、网页内容处理：图像、3D模型、分类、聚类

网页分类

网页聚类