主要观点总结
本文介绍了爬虫的基本概念、分类、工作原理以及熟悉Python编程的重要性。还强调了正确认识自己是否适合Python爬虫的重要性，并提供了一些学习建议。最后，推荐了一个Python体验课程。
关键观点总结
关键观点1: 爬虫定义与分类
爬虫是一种自动获取网页内容的程序，为搜索引擎提供数据支撑。爬虫一般分为传统爬虫和聚焦爬虫，聚焦爬虫能根据一定算法过滤主题无关链接，保留有用链接。
关键观点2: 爬虫工作原理与策略
爬虫工作原理包括网络爬虫的基本框架和常见的抓取策略。抓取策略有深度优先遍历策略、宽度优先遍历策略、反向链接数策略、PartialPageRank策略、OPIC策略和大站优先策略等。
关键观点3: Python编程的重要性
Python是一种计算机程序设计语言，越来越多被用于独立大型项目的开发。熟悉Python编程对于从事爬虫工作非常重要。
关键观点4: 学习Python爬虫的建议
学习Python爬虫需要感兴趣，并找到真正有用的优质学习资料和专业老师指导。零基础入门Python爬虫的要点包括反复咀嚼语法逻辑，如列表、字典、字符串等最核心的东西都得熟练掌握。
关键观点5: Python体验课程推荐
推荐了一个Python体验课程，适合对Python编程感兴趣的人参加，可以帮助快速入门Python技能。
正文
爬虫的全称为
网络爬虫
，简称爬虫，别名有网络机器人，网络蜘蛛等等。
网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。
搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。
如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
2、爬虫的分类
网络爬虫一般分为传统爬虫和聚焦爬虫。
聚焦爬虫需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入待抓取的 URL 队列，再根据一定的搜索策略从队列中选择下一步要抓取的网页 URL，并重复上述过程，直到满足系统的一定条件时停止。
另外，所有被爬虫抓取的网页都将会被系统存储、分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
使用防爬虫机制的基本上是企业，我们平时也能见到一些对抗爬虫的经典方式，如图片验证码、滑块验证、封禁 IP 等等。
抓取到的网页实际上是互联网内容的一个镜像文件，互联网是动态变化的，一部分互联网上的内容已经发生了变化，这时，这部分抓取到的网页就已经过期了。
既没有被抓取也没有在待抓取 URL 队列中，但可通过对已抓取页面或者待抓取 URL 对应页面进行分析获取到的 URL，认为是可知网页。
待抓取 URL 队列中的 URL 顺序排列涉及到抓取页面的先后次序问题，而决定这些 URL 排列顺序的方法叫做抓取策略。
1. 深度优先遍历策略
·网络爬虫从起始页开始，由一个链接跟踪到另一个链接，这样不断跟踪链接下去直到处理完这条线路，之后再转入下一个起始页，继续跟踪链接。
·例如：遍历路径：A-F-GE-H-IBCD。需要注意的是，深度优先可能会找不到目标节点（即进入无限深度分支），因此，深度优先策略不一定能适用于所有情况。
·宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接插入待抓取 URL 队列的末尾。
·例如：遍历路径：第一层：A-B-C-D-E-F，第二层：G-H，第三层：I。广度优先遍历策略会彻底遍历整个网络图，效率较低，但覆盖网页较广。
3. 反向链接数策略
·反向链接数是指一个网页被其他网页链接指向的数量。因此，很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后顺序。而现实是网络环境存在各种广告链接、作弊链接的干扰，使得许多反向链接数反映的结果并不可靠。
4. PartialPageRank 策略
·PartialPageRank 策略借鉴了 PageRank 算法的思想：
对于已下载网页，连同待抓取 URL 队列中的 URL，形成网页集合，计算每个页面的 PageRank 值，然后将待抓取 URL 队列中的 URL 按照 PageRank 值的大小进行排列，并按照该顺序抓取页面。
若每次抓取一个页面，就重新计算 PageRank 值，则效率太低。
一种折中方案是：每抓取 K 个页面后，重新计算一次 PageRank 值。
·此算法其实也是计算页面重要程度。在算法开始前，给所有页面一个相同的初始现金（cash）。当下载了某个页面 P 之后，将 P 的现金分摊给所有从 P 中分析出的链接，并且将 P 的现金清空。
·对于待抓取 URL 队列中的所有网页，根据所属的网站进行分类。待下载页面数多的网站优先下载。
三、熟悉python编程
熟悉Python编程，Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。
所以Python编程也就是利用Python语言进行计算机编程。
四、正确认识自己到底适不适合Python爬虫
入门Python爬虫最重要，也是最简单的一步，一定要对Python爬虫感兴趣！感兴趣！
作为一名资深的Python爬虫迷，我觉得无论学习任何一件事情，都应该要做到兴趣入门，持之以恒，最后才能真正出师。
在刚开始入门爬虫时，你甚至不需要去学习python的类、多线程、模块之类的略难内容。而是一切按照自己的能力来，基于你学习的目的，工作、爱好、甚至于你想要在后续阶段成长为一名Python爬虫大神。
建议入门一定不要在网上自己瞎碰，因为现在网上的Python爬虫教程虽多，但真正面向于Python零基础的却不多，找好真正有用的优质学习资料，加上专业老师指导，不仅能够学习Python爬虫，还能学习其他Python相关的内容，多掌握一些内容，工作前景也会更大。
零基础入门Python爬虫的要点我就说到这了，学习Python爬虫一定要反复咀嚼语法逻辑，比如列表、字典、字符串、if语句、for循环等最核心的东西都得捻熟于心、于手。
这也是我为什么要把这门Python体验课推荐给大家的原因。
