Python小白如何使用爬虫自动抓取《三生三世十里桃花》豆瓣电影短评

之间。

这里需要引入正则表达式

http://www.runoob.com/regexp/regexp-syntax.html

根据代码编写正则表达式：

.*?'(.*?)

其中.*?是正则表达式中的懒惰匹配，(.*?)是捕获组，即将这个位置匹配到的数据缓存下来，也就是我们需要找的短评内容。

5.构(ban)建(yun)代码beta版

要看最终代码的直接跳到第9节

直接引用豆瓣top250的爬虫代码，并对代码中的内容进行修改。

# -*- coding:utf-8 -*-
import urllib2
import re
import sys

class MovieComment:
    def __init__(self):
        #设置默认编码格式为utf-8
        reload(sys)
        sys.setdefaultencoding('utf-8')  
        self.start = 0    #爬虫起始位置
        self.param = '&filter=&type='
        #User-Agent是用户代理，用于使服务器识别用户所使用的操作系统及版本、浏览器类型等，可以认为是爬虫程序的伪装。
        self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36'}
        self.commentList = []
        self.filePath = '/Users/xiaomi/Desktop/comment.txt'

    def getPage(self):
        try:
            URL = 'https://movie.douban.com/subject/25823277/comments?start=' + str(self.start)
            request = urllib2.Request(url = URL, headers = self.headers)
            response = urllib2.urlopen(request)
            page = response.read().decode('utf-8')
            pageNum = (self.start + 20)/20
            print '正在抓取第' + str(pageNum) + '页数据...' 
            self.start += 20
            return page
        except (urllib2.URLError,Exception), e:
            if hasattr(e, 'reason'):
                print '抓取失败，具体原因：', e.reason

    def getMovie(self):
        pattern = re.compile(u'.*?'
                             + u'.*?.*?'
                             + u'(.*?)',re.S)  #正则表达式
        while self.start <= 100:  #爬虫结束位置
            page = self.getPage()
            comments = re.findall(pattern, page)
            for comment in comments:
                self.commentList.append([comment[0], comment[1].strip()]) #将捕获组数据写入评论List中

    def writeTxt(self):
        fileComment = open(self.filePath, 'w')
        try:
            for comment in self.commentList:
                fileComment.write( comment[1] + '\r\n\r\n') #输出评论List数据
            print '文件写入成功...'
        finally:
            fileComment.close()

    def main(self):
        print '正在从《三生三世十里桃花》电影短评中抓取数据...'
        self.getMovie()
        self.writeTxt()
        print '抓取完毕...'

DouBanSpider = MovieComment()
DouBanSpider.main()

为了尽快调试程序，将爬虫结束start值设为了100。

这里的正则做了一些修改，因为当只设置一个数组元素时，输出的数据仅包含一个字符，例，当设置为输出用户名时，实际只输出了用户名的第一个字；但当设置了2个数组元素时，输出数据就恢复了正常。(未查出原因，有兴趣的盆友可以debug一下，然后告诉我原因hhhhh)

所以这里的正则设置捕获2组数据，而实际输出所需的那组数据。

代码运行界面

输出短评结果

这里可以看到爬取短评时会出现一些源代码，这里的源代码对应的是

来自移动端发布的手机标识

这是为了标识出来自移动端发布的短评消息的一串代码，此类代码一共有三种，Android端、iPhone端和web端，可以通过程序筛选去除，为了更快的解(tou)决(lan)，我使用的是文本去重复工具

https://quchuchongfu.renrensousuo.com/

可以一键去除文本中大段的重复内容，不仅可以去掉重复的源代码，还可以将第三节中因为固定start值带来的重复短评也去掉。

6.模拟登陆

爬虫调试成功后，我开始了野心勃勃的6w短评爬取征途，将start结束值设置成了64000，准备代码跑起来，爬虫爬起来，悠哉地喝杯茶，吃顿饭，再回来看结果。但是……

TypeError:expected string or buffer

经过很长一段时间的调试，大致知道了报错的原因，访客模式下豆瓣短评仅能访问前10页，如果想要访问后面的页面，必须要登录。

模拟登陆的方法有2种，一种是post信息登录，还有一种是cookie登录。

网上查询的几种方法查看post信息，firefox的插件httpfox不支持mac，调试代理工具fiddler也没有Mac版，对应的Mac版软件Charles也莫名其妙记录不到豆瓣post数据，chrome检查结果中看不到form data(仿佛看到了命运之神的嫌弃…)。

查看cookie

cookie登录的方法就比较简单了，在chrome中登录豆瓣，右键网页选择“检查”，在弹出窗口中按照network→www.douban.com (没有就刷新一下网页)→headers查看cookie，将cookie:后的内容全部复制，添加到代码中headers的user-agent后面中。

self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
            'cookie': '将复制的cookie信息贴在此处'}

7.短评爬虫1.0

已更新优化代码2.0，查看文字后可直接跳过代码1.0继续阅读，2.0源码见第9节
修改代码后，程序继续执行，但偶尔会发生卡顿，于是添加了超时响应代码，3秒没有响应就再次发送请求。最终代码如下：

# encoding:UTF-8
import urllib2
import re
import sys
import time

class MovieComment:
    def __init__(self):
        #设置默认编码格式为utf-8
        reload(sys)
        sys.setdefaultencoding('utf-8')
        self.start = 0
        self.param = '&limit=20&sort=new_score&status=P'
        self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
                        'cookie': 'cookie信息'}
        self.commentList = []
        self.filePath = '/Users/xiaomi/Desktop/ssssbc.txt'

    def getPage(self):
        try:
            URL = 'https://movie.douban.com/subject/25823277/comments?start=' + str(self.start)
            request = urllib2.Request(url = URL, headers = self.headers)
            response = urllib2.urlopen(request, timeout = 3)
            page = response.read().decode('utf-8')
            pageNum = (self.start + 20)/20
            print '正在抓取第' + str(pageNum) + '页数据...' 
            self.start += 20
            return page
        except (urllib2.URLError,Exception), e:
            if hasattr(e, 'reason'):
                print '抓取失败，具体原因：', e.reason
                #超时响应
                response = urllib2.urlopen(request,timeout = 3)
                page = response.read().decode('utf-8')
                pageNum = (self.start + 20)/20
                print '正在抓取第' + str(pageNum) + '页数据...' 
                self.start += 20
                return page

    def getMovie(self):
        pattern = re.compile(u'.*?'
                             + u'.*?.*?'
                             + u'(.*?)',re.S)
        while self.start <= 100:
            page = self.getPage()
            comments = re.findall(pattern, page)
            for comment in comments:
                self.commentList.append([comment[0], comment[1].strip()])

    def writeTxt(self):
        fileComment = open(self.filePath, 'w')
        try:
            for comment in self.commentList:
                fileComment.write( comment[1] + '\r\n\r\n')
            print '文件写入成功...'
        finally:
            fileComment.close()

    def main(self):
        print '正在从《三生三世十里桃花》电影短评中抓取数据...'
        self.getMovie()
        self.writeTxt()
        print '抓取完毕...'

DouBanSpider = MovieComment()
DouBanSpider.main()

8.爬虫被封禁的一些问题

单个ip单个用户在短时间内请求网站数据过快，都会被豆瓣的反爬虫机制发现并判断为机器操作而封禁，解决的方法有几种。

1.使用ip代理池，隔一段时间随机换一个ip(我还没研究出来)

2.降低爬取速度，设置爬虫间隔时间(我也还没研究出来)

3.将爬取内容分块，分时间段爬取(爬一会，歇一会ㄒ_ㄒ我用得就是这个方法，所以才叫半自动爬虫啊ㄒ_ㄒ)

花了半天的时间，最终将《三生三世十里桃花》电影版的6w多条短评都爬了下来(感谢指点我的程序员小哥哥们！感谢互联网！感谢郭嘉！）提取了高频词汇，大家对电影的高度评价果然不出我的所料，我不禁流下了激动的眼泪…

《三生三世十里桃花》6w豆瓣短评关键词

2017.08.17 没想到一篇偷懒卖二的文章居然上了首页(ㄒ_ㄒ其他文写死了N多脑细胞也没人看)，索性再贴一个昨天刚做的词云，纪录片《二十二》豆瓣1w条短评关键词，推荐正在读这篇文的你，去电影院看看这些老人们。

《二十二》1w豆瓣短评关键词

这世界真好，谢谢你们:-D

2017.08.19

9.代理设置

经过2天的努力，我会用代理啦！

为什么要使用代理的原因请参考第8节。

依旧参考这位大神的代理设置例子：Python爬虫技巧---设置代理IP

http://blog.csdn.net/lammonpeter/article/details/52917264

使用代理的方法是先从开放代理网站批量爬取代理IP存放在指定列表中（get_ip_list），再从指定列表中随机获取单个IP（get_random_ip）作为代理IP。

def get_ip_list():
    url = 'http://www.xicidaili.com/nn/'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, 'lxml')
    ips = soup.find_all('tr')
    ip_list = []
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_list.append(tds[1].text + ':' + tds[2].text)
    return ip_list

def get_random_ip():
    ip_list = get_ip_list()
    proxy_list = []
    for ip in ip_list:
        proxy_list.append(ip)
    proxy_ip = random.choice(proxy_list)
    return proxy_ip

使用代理ip的标头登录网站，后面的就和第3章开始衔接上了，不再多说。

url = '想登录网站的网址'
proxy = urllib2.ProxyHandler({"http": self.proxies})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
request = urllib2.Request(url = URL, headers = self.headers)
response = urllib2.urlopen(request, timeout = 5)

设置好代理后，使用代理的思路是使用1个IP爬取豆瓣20页信息后，更换一次代理IP。

if self.start % 400==0:
    self.proxies = get_random_ip()

整体代码如下：

# encoding:UTF-8
import urllib2
from bs4 import BeautifulSoup
import requests
import re
import random
import sys
import time

def get_ip_list():
    url = 'http://www.xicidaili.com/nn/'
    headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
    }
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, 'lxml')
    ips = soup.find_all('tr')
    ip_list = []
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_list.append(tds[1].text + ':' + tds[2].text)
    return ip_list

def get_random_ip():
    ip_list = get_ip_list()
    proxy_list = []
    for ip in ip_list:
        proxy_list.append(ip)
    proxy_ip = random.choice(proxy_list)
    return proxy_ip

class MovieComment:
    def __init__(self):
        #设置默认编码格式为utf-8
        reload(sys)
        sys.setdefaultencoding('utf-8')
        self.start = 0 #爬虫起始位置
        self.param = '&limit=20&sort=new_score&status=P'
        #User-Agent是用户代理，用于使服务器识别用户所使用的操作系统及版本、浏览器类型等，可以认为是爬虫程序的伪装。
        self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
                        'cookie': 'cookie信息'}
        self.commentList = []
        self.filePath = '/Users/xiaomi/Desktop/eebc.txt'
        self.proxies = get_random_ip() #定义代理IP

    def getPage(self):
        try:
            URL = 'https://movie.douban.com/subject/26430107/comments?start=' + str(self.start)
            proxy = urllib2.ProxyHandler({"http": self.proxies})
            opener = urllib2.build_opener(proxy)
            urllib2.install_opener(opener)
            request = urllib2.Request(url = URL, headers = self.headers)
            response = urllib2.urlopen(request, timeout = 5)
            page = response.read().decode('utf-8')
            pageNum = (self.start + 20)/20
            print '正在抓取第' + str(pageNum) + '页数据...' 
            self.start += 20
            if self.start % 100==0:
                self.proxies = get_random_ip()
            return page
        except (urllib2.URLError,Exception), e:
            if hasattr(e, 'reason'):
                print '抓取失败，具体原因：', e.reason
                #超时响应
                response = urllib2.urlopen(request,timeout = 5)
                page = response.read().decode('utf-8')
                pageNum = (self.start + 20)/20
                print '正在抓取第' + str(pageNum) + '页数据...' 
                self.start += 20
                if self.start % 400==0: #设置获取IP间隔页数
                    self.proxies = get_random_ip()
                return page

    def getMovie(self):
        pattern = re.compile(u'.*?'
                             + u'.*?.*?'
                             + u'(.*?)',re.S) #正则表达式
        while self.start <= 20000:  #爬虫结束位置
            page = self.getPage()
            time.sleep(2)
            comments = re.findall(pattern, page)
            for comment in comments:
                self.commentList.append([comment[0], comment[1].strip()]) #将捕获组数据写入评论List中

    def writeTxt(self):
        fileComment = open(self.filePath, 'w')
        try:
            for comment in self.commentList:
                fileComment.write( comment[1] + '\r\n\r\n')
            print '文件写入成功...'
        finally:
            fileComment.close()

    def main(self):
        print '正在从《二十二》电影短评中抓取数据...'
        self.getMovie()
        self.writeTxt()
        print '抓取完毕...'

DouBanSpider = MovieComment()
DouBanSpider.main()

Python爱好者社区历史文章大合集：

Python爱好者社区历史文章列表（每周append更新一次）

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

1.崔老师爬虫实战案例免费学习视频。

2.丘老师数据科学入门指导免费学习视频。

3.陈老师数据分析报告制作免费学习视频。

4.玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。

5.丘老师Python网络爬虫实战免费学习视频。