专栏名称: python
隔天更新python文章,我希望用我的努力换来劳动的成果帮助更多的人掌握一门技术,因此我要更加努力。
目录
相关文章推荐
Python爱好者社区  ·  史上最强!PINN杀疯了 ·  昨天  
Python爱好者社区  ·  DeepSeek创始人梁文锋个人履历 ·  3 天前  
Python爱好者社区  ·  离谱!下载DeepSeek最高判刑20年? ·  2 天前  
Python爱好者社区  ·  1885页的Python完全版电子书 ·  3 天前  
Python开发者  ·  请立即拿下软考证书(政策风口) ·  4 天前  
51好读  ›  专栏  ›  python

Python百行代码轻松爬取了妹子网100G的套图,希望你网盘内存够用

python  · 公众号  · Python  · 2019-07-05 14:29

正文


前言

最近在做监控相关的配套设施,发现很多脚本都是基于Python的。很早之前就听说其大名,人生苦短,我学Python,这并非一句戏言。随着人工智能、机器学习、深度学习的崛起,目前市面上大部分的人工智能的代码 大多使用Python 来编写。所以人工智能时代,是时候学点Python了。

基本环境配置

  • Python3

  • PyCharm

实现步骤

以妹子图为例,其实很简单,分以下四步:

  • 获取首页的页码数,并创建与页码对应的文件夹

  • 获取页面的栏目地址

  • 进入栏目,获取栏目页码数(每个栏目下有多张图片,分页显示)

  • 获取到栏目下对用标签中的图片并下载

注意事项

爬取过程中,还需要注意以下几点,可能对你有所帮助:

1)导库,其实就类似于Java中框架或者是工具类,底层都被封装好了

2)定义方法函数,一个爬虫可能会几百行,所以尽量不要写成一坨

3)定义全局变量

4)防盗链

5)切换版本

6)异常捕获


代码实现


下面,请小伙伴们睁大眼睛,鸡冻人心的套图时刻来了。


总结







请到「今天看啥」查看全文


推荐文章
Python爱好者社区  ·  史上最强!PINN杀疯了
昨天
Python爱好者社区  ·  DeepSeek创始人梁文锋个人履历
3 天前
Python爱好者社区  ·  离谱!下载DeepSeek最高判刑20年?
2 天前
Python爱好者社区  ·  1885页的Python完全版电子书
3 天前
Python开发者  ·  请立即拿下软考证书(政策风口)
4 天前