这里仍然以微博为例，接下来用Python来模拟这些Ajax请求，把我发过的微博爬取下来。
1. 分析请求
打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。
选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面，如图6-11所示。
可以发现，这是一个GET类型的请求，请求链接为[https://m.weibo.cn/api/container/getIndex?type=uid&value=2830678474&containerid=1076032830678474&page=2)。请求的参数有4个：
type
、
value
、
containerid
和
page
。
随后再看看其他请求，可以发现，它们的
type
、
value
和
containerid
始终如一。
type
始终为
uid
，
value
的值就是页面链接中的数字，其实这就是用户的
id
。另外，还有
containerid
。可以发现，它就是107603加上用户
id
。改变的值就是
page
，很明显这个参数是用来控制分页的，
page=1
代表第一页，
page=2
代表第二页，以此类推。
2. 分析响应
随后，观察这个请求的响应内容，如图6-12所示。
这个内容是JSON格式的，浏览器开发者工具自动做了解析以方便我们查看。可以看到，最关键的两部分信息就是
cardlistInfo
和
cards
：前者包含一个比较重要的信息
total
，观察后可以发现，它其实是微博的总数量，我们可以根据这个数字来估算分页数；后者则是一个列表，它包含10个元素，展开其中一个看一下，如图6-13所示。
可以发现，这个元素有一个比较重要的字段
mblog
。展开它，可以发现它包含的正是微博的一些信息，比如
attitudes_count
（赞数目）、
comments_count
（评论数目）、
reposts_count
（转发数目）、
created_at
（发布时间）、
text
（微博正文）等，而且它们都是一些格式化的内容。
这样我们请求一个接口，就可以得到10条微博，而且请求时只需要改变
page
参数即可。
这样的话，我们只需要简单做一个循环，就可以获取所有微博了。
3. 实战演练
这里我们用程序模拟这些Ajax请求，将我的前10页微博全部爬取下来。
首先，定义一个方法来获取每次请求的结果。在请求时，
page
是一个可变参数，所以我们将它作为方法的参数传递进来，相关代码如下：
12345678910111213141516171819202122232425from urllib.parse import urlencodeimport requestsbase_url = 'https://m.weibo.cn/api/container/getIndex?' headers = { 'Host': 'm.weibo.cn', 'Referer': 'https://m.weibo.cn/u/2830678474', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'X-Requested-With': 'XMLHttpRequest',} def get_page(page): params = { 'type': 'uid', 'value': '2830678474', 'containerid': '1076032830678474', 'page': page } url = base_url + urlencode(params) try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() except requests.ConnectionError as e: print('Error', e.args)
首先，这里定义了
base_url
来表示请求的URL的前半部分。接下来，构造参数字典，其中
type
、
value
和
containerid
是固定参数，
page
是可变参数。接下来，调用
urlencode()
方法将参数转化为URL的GET请求参数，即类似于
type=uid&value=2830678474&containerid=1076032830678474&page=2
这样的形式。随后，
base_url
与参数拼合形成一个新的URL。接着，我们用requests请求这个链接，加入
headers
参数。然后判断响应的状态码，如果是200，则直接调用
json()
方法将内容解析为JSON返回，否则不返回任何信息。如果出现异常，则捕获并输出其异常信息。
随后，我们需要定义一个解析方法，用来从结果中提取想要的信息，比如这次想保存微博的
id
、正文、赞数、评论数和转发数这几个内容，那么可以先遍历
cards
，然后获取
mblog
中的各个信息，赋值为一个新的字典返回即可：
1234567891011121314from pyquery import PyQuery as pq def parse_page(json): if json: items = json.get('data').get('cards') for item in items: item = item.get('mblog') weibo = {} weibo['id'] = item.get('id') weibo['text'] = pq(item.get('text')).text() weibo['attitudes'] = item.get('attitudes_count') weibo['comments'] = item.get('comments_count') weibo['reposts'] = item.get('reposts_count') yield weibo
这里我们借助pyquery将正文中的HTML标签去掉。
最后，遍历一下
page
，一共10页，将提取到的结果打印输出即可：
