【Python3网络爬虫开发实战】3-基本库的使用 1.3-解析链接_崔庆才丨静觅的专栏文章_微信文章

前面说过，urllib库里还提供了 parse 这个模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet和wais。本节中，我们介绍一下该模块中常用的方法来看一下它的便捷之处。

1. urlparse()

该方法可以实现URL的识别和分段，这里先用一个实例来看一下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)

这里我们利用 urlparse() 方法进行了一个URL的解析。首先，输出了解析结果的类型，然后将结果也输出出来。

运行结果如下：

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

可以看到，返回结果是一个 ParseResult 类型的对象，它包含6部分，分别是 scheme 、 netloc 、 path 、 params 、 query 和 fragment 。

观察一下该实例的URL：

http://www.baidu.com/index.html;user?id=5#comment

可以发现， urlparse() 方法将其拆分成了6部分。大体观察可以发现，解析时有特定的分隔符。比如，://前面的就是 scheme ，代表协议；第一个/前面便是 netloc ，即域名；分号;前面是 params ，代表参数。

所以，可以得出一个标准的链接格式，具体如下：

scheme://netloc/path;parameters?query#fragment

一个标准的URL都会符合这个规则，利用 urlparse() 方法可以将它拆分开来。

除了这种最基本的解析方式外， urlopen() 方法还有其他配置吗？接下来，看一下它的API用法：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

可以看到，它有3个参数。

urlstring ：这是必填项，即待解析的URL。
scheme ：它是默认的协议（比如 http 或 https 等）。假如这个链接没有带协议信息，会将这个作为默认的协议。我们用实例来看一下：

from urllib.parse import urlparse

result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)

运行结果如下：

ParseResult(scheme='https', netloc='', path='www.baidu.com/index.html', params='user', query='id=5', fragment='comment')

可以发现，我们提供的URL没有包含最前面的 scheme 信息，但是通过指定默认的 scheme 参数，返回的结果是 https 。

假设我们带上了 scheme ：

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', scheme='https')

则结果如下：

ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

可见， scheme 参数只有在URL中不包含 scheme 信息时才生效。如果URL中有 scheme 信息，就会返回解析出的 scheme 。

allow_fragments ：即是否忽略 fragment 。如果它被设置为 False ， fragment 部分就会被忽略，它会被解析为 path 、 parameters 或者 query 的一部分，而 fragment 部分为空。下面我们用实例来看一下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', allow_fragments=False)
print(result)

运行结果如下：

ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5#comment', fragment='')

假设URL中不包含 params 和 query ，我们再通过实例看一下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result)

运行结果如下：

ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html#comment', params='', query='', fragment='')

可以发现，当URL中不包含 params 和 query 时， fragment 便会被解析为 path 的一部分。

返回结果 ParseResult 实际上是一个元组，我们可以用索引顺序来获取，也可以用属性名获取。示例如下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result.scheme, result[0], result.netloc, result[1], sep='\n')

这里我们分别用索引和属性名获取了 scheme 和 netloc ，其运行结果如下：

http
http
www.baidu.com
www.baidu.com

可以发现，二者的结果是一致的，两种方法都可以成功获取。

2. urlunparse()

有了 urlparse() ，相应地就有了它的对立方法 urlunparse() 。它接受的参数是一个可迭代对象，但是它的长度必须是6，否则会抛出参数数量不足或者过多的问题。先用一个实例看一下：

from urllib.parse import urlunparse

data = ['http', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
print(urlunparse(data))

这里参数 data 用了列表类型。当然，你也可以用其他类型，比如元组或者特定的数据结构。

运行结果如下：

http://www.baidu.com/index.html;user?a=6#comment

这样我们就成功实现了URL的构造。

3. urlsplit()

这个方法和 urlparse() 方法非常相似，只不过它不再单独解析 params 这一部分，只返回5个结果。上面例子中的 params 会合并到 path 中。示例如下：

from urllib.parse import urlsplit

result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')
print(result)

运行结果如下：

SplitResult(scheme='http', netloc='www.baidu.com', path='/index.html;user', query='id=5', fragment='comment')

可以发现，返回结果是 SplitResult ，它其实也是一个元组类型，既可以用属性获取值，也可以用索引来获取。示例如下：

from urllib.parse import urlsplit

result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')
print(result.scheme, result[0])

运行结果如下：

http http

4. urlunsplit()

与 urlunparse() 类似，它也是将链接各个部分组合成完整链接的方法，传入的参数也是一个可迭代对象，例如列表、元组等，唯一的区别是长度必须为5。示例如下：

from urllib.parse import urlunsplit

data = ['http', 'www.baidu.com', 'index.html', 'a=6', 'comment']
print(urlunsplit(data))

运行结果如下：

http://www.baidu.com/index.html?a=6#comment

5. urljoin()

有了 urlunparse() 和 urlunsplit() 方法，我们可以完成链接的合并，不过前提必须要有特定长度的对象，链接的每一部分都要清晰分开。

此外，生成链接还有另一个方法，那就是 urljoin() 方法。我们可以提供一个 base_url （基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析 base_url 的 scheme 、 netloc 和 path 这3个内容并对新链接缺失的部分进行补充，最后返回结果。

下面通过几个实例看一下：

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

运行结果如下：

【Python3网络爬虫开发实战】3-基本库的使用 1.3-解析链接

正文

【Python3网络爬虫开发实战】3-基本库的使用 1.3-解析链接

1. urlparse()

2. urlunparse()

3. urlsplit()

4. urlunsplit()

5. urljoin()

请到「今天看啥」查看全文