关于爬虫，这73个知识点你必须掌握

杨真   资深软件架构师

曾就职于Sun中国工程研究院、微软（亚洲）互联网工程院、腾讯北京无线事业部、完美世界等知名公司，早期负责Java虚拟机内核、移动端的产品和搜索引擎的开发，目前带领超过50人的资深研发团队，从事基于大数据、人工智能方面的产品开发，团队涉及图像处理（人脸识别、目标检测）、自然语言处理（文本分类、关系抽取、机器翻译、自动化摘要）、推荐系统、搜索引擎、知识图谱、自研图数据库、爬虫、大数据存储及挖掘、分布式系统架构、Web及移动端产品开发等技术领域。

1.  围绕人工智能的数据获取应用案例来展开，旨在让大家了解各个应用领域数据获取的方法和技巧

2.  包含 Google、Wikipedia、微博、微信公众号、淘宝及京东 等各类网站数据的获取技术及方案

3.  介绍了诸如图片识别、目标检测、实体类型识别、文本分类、关系抽取、结构化信息、聊天机器人等数据的来源及获取方式

4.  爬虫的基础技术课程，例如 HTTP、Python 的基础等，以录播的方式介绍，直播课程重点介绍爬虫的应用场景

2018年4月17日  开课

在线直播，共12次课，每次2小时

每周2次（周二、周五，晚20:00 - 22:00）

直播后提供录制回放视频，可在线反复观看，有效期1年

第一课 静态网页爬虫：爬虫的基础技术

1.  HTML
2.  CSS 选择器
3.  JavaScript 介绍
4.  lxml 及 XPath
5.  Python 里的网络请求

6.  第一个爬虫：蚂蜂窝的游记

第二课 登录及动态网页的抓取

1.  表单

2.  网站登录及Cookie

3.  Headless 的浏览器：PhantomJS

4.  浏览器的驱动：Selenium

5.  动态网页数据获取

第三课 微博的抓取

1.  微博网站分布及结构分析

2.  通过动态页面来抓取

3.  微博网络接口的逆向分析

4.  利用API来抓取微博

第四课 微信公众号抓取

1.  AnyProxy 抓包工具

2.  微信公众号接口分析

3.  利用 NodeJS 重定向接口

4.  后台数据获取及保存

5.  利用接口直接获取所有历史消息

6.  应对微信公众号反爬虫的架构设计

第五课 验证码的处理，京东、淘宝的数据抓取及存储案例

1.  基于距离的图片比对

2.  基于 TesseractOcr 的数字识别