专栏名称: 崔庆才丨静觅
工程师
目录
相关文章推荐
直播海南  ·  6名公职人员,涉嫌酒驾醉驾被查 ·  20 小时前  
直播海南  ·  东方市发布一则情况通报 ·  昨天  
银行家杂志  ·  金融监管总局最新公布! ·  3 天前  
封面新闻  ·  刚刚!三亚知名景区道歉 ·  3 天前  
封面新闻  ·  刚刚!三亚知名景区道歉 ·  3 天前  
51好读  ›  专栏  ›  崔庆才丨静觅

【Python3网络爬虫开发实战】3-基本库的使用 1.2-处理异常

崔庆才丨静觅  · 掘金  ·  · 2018-03-13 02:02

正文

【Python3网络爬虫开发实战】3-基本库的使用 1.2-处理异常

前一节我们了解了请求的发送过程,但是在网络不好的情况下,如果出现了异常,该怎么办呢?这时如果不处理这些异常,程序很可能因报错而终止运行,所以异常处理还是十分有必要的。

urllib的 error 模块定义了由 request 模块产生的异常。如果出现了问题, request 模块便会抛出 error 模块中定义的异常。

1. URLError

URLError类来自urllib库的error模块,它继承自OSError类,是error异常模块的基类,由request模块生的异常都可以通过捕获这个类来处理。

它具有一个属性reason,即返回错误的原因。

下面用一个实例来看一下:

from urllib import request, error
try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.URLError as e:
    print(e.reason)

我们打开一个不存在的页面,照理来说应该会报错,但是这时我们捕获了URLError这个异常,运行结果如下:

Not Found

程序没有直接报错,而是输出了如上内容,这样通过如上操作,我们就可以避免程序异常终止,同时异常得到了有效处理。

2. HTTPError

它是 URLError 的子类,专门用来处理HTTP请求错误,比如认证请求失败等。它有如下3个属性。

  • code :返回HTTP状态码,比如404表示网页不存在,500表示服务器内部错误等。
  • reason :同父类一样,用于返回错误的原因。
  • headers :返回请求头。

下面我们用几个实例来看看:

from urllib import request,error
try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, seq='\n')

运行结果如下:

Not Found
404
Server: nginx/1.4.6 (Ubuntu)
Date: Wed, 03 Aug 2016 08:54:22 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: close
X-Powered-By: PHP/5.5.9-1ubuntu4.14
Vary: Cookie
Expires: Wed, 11 Jan 1984 05:00:00 GMT
Cache-Control: no-cache, must-revalidate, max-age=0
Pragma: no-cache
Link: <http://cuiqingcai.com/wp-json/>; rel="https://api.w.org/"

依然是同样的网址,这里捕获了 HTTPError 异常,输出了 reason code headers 属性。

因为 URLError HTTPError 的父类,所以可以先选择捕获子类的错误,再去捕获父类的错误,所以上述代码更好的写法如下:

from urllib import request, error

try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print






请到「今天看啥」查看全文


推荐文章
直播海南  ·  6名公职人员,涉嫌酒驾醉驾被查
20 小时前
直播海南  ·  东方市发布一则情况通报
昨天
银行家杂志  ·  金融监管总局最新公布!
3 天前
封面新闻  ·  刚刚!三亚知名景区道歉
3 天前
封面新闻  ·  刚刚!三亚知名景区道歉
3 天前
经典短篇阅读小组  ·  我在北京彷惶了十年,终未曾吃到好点心
7 年前
脑洞故事板  ·  怪屋 | 荒山里的学区房
7 年前