我用Python爬了12万条影评，告诉你《战狼Ⅱ》都在说些啥

来自：数据分析小王子

链接：https://zhuanlan.zhihu.com/p/28475619（点击尾部阅读原文前往）

姓名：麦艳涛，网名：挖掘机小王子

个人网站：挖掘机小王子

微信：Gorgon---Medusa，QQ邮箱：[email protected]

个人简介：数据分析爱好者

现在，让我们来看看，《战狼Ⅱ》评论里到底藏着哪些有趣的潜台词。

本文采用的是 Python 爬虫的方式获取的数据，用到的主要是 requests 包与正则包 re，该程序并未对验证码进行处理。

之前也爬取过豆瓣的网页，当时由于爬取的内容少，所以并没有遇到验证码的事情。

在写本文爬虫的时候，原以为也不会有验证码，但是当爬取到大概 15000 个评论的时候跳出来验证码。

然后我就想不就是十二万吗？最多我也就是输入大概十几次验证码，所以就没有处理验证码的事情。

但是接下来的事情就有点坑到我了，爬取 15000 左右评论并输入验证码的时候，我以为会接下来爬取到 30000 左右，可是才爬了 3000 左右就不行了，还是要输验证码。

然后就一直这样，跌跌撞撞，有时候爬取好长时间才需要验证码，有时候则不是。不过最后还是把评论爬取下来了。

爬取的内容主要是：用户名，是否看过，评论的星星点数，评论时间，认为有用的人数，评论内容。参看下图（用户名已隐藏）：

这个是影评的起始页：豆瓣影评。

以下是 Python 爬虫的代码：

以上代码注意设置你自己的 User-Agent，Cookie，CSV 保存路径等。

爬取的内容保存成 CSV 格式的文件，保存的文件内容如下:

本文用 R 语言来处理数据，虽然在爬取的时候已经非常注意爬取内容的结构了，但是还是不可避免的有一些值不是我们想要的。

比如有的评论内容会出现在评论者这一项中，所以还是有必要进行一下数据的清洗。

首先加载要用到的所有包：

导入数据并清洗：

先来看一看通过星星数评论的情况：

五角星的个数对应 5 个等级，5 颗星代表力荐，4 颗星代表推荐，3 颗星代表还行，2 颗星代表较差，1 颗星代表很差。

通过五角星的评论显而易见，我们有理由相信绝大部分观看者对这部影片持满意态度。

首先我们应该先进行评论的分词：

总体评论云图展示：

由于数据太多，导致我的破电脑卡顿，所以在制作云图的时候去掉了频数低于 1000 的词汇。

云图结果如下：

整体来看，大家对这不影片的评论还是不错呀！剧情，动作，爱国等话题是大家谈论的焦点。

评价关键词：吴京、个人英雄主义、主旋律、中国、主角光环、达康书记、很燃。

可见，“燃”并不是看完之后的最多反馈，观众更多是对吴京本人的赞叹，以及对爱国主义和个人主义的评价。

但是如果把不同评价的人的评论分别展示会是什么样子呢？也就是对五个等级（力荐，推荐，还行，较差，很差）的评论内容制作云图，代码如下（只要改变代码中力荐为其他即可）：

从不同的评论的分词结果来看，他们都有一个共同的话题：爱国。

在力荐的评论中可能爱国话题的基数比很差的评论中的多，在力荐的评论中人们更愿意讨论的是爱国话题之外的事情。在很差的评论中人们讨论的大多是爱国话题。而且他们占的比例很有意思，从力荐的人到评论很差的人，爱国话题的比例逐渐增加。

我们不能主观的认为谁对谁错，只能说他们站在的角度不一样，所以看到的结果也不太一样。当我们和别人意见不同时，往往是所处的角度不同。评论很差的人考虑的更多的是爱国的话题吧（这里只是爱国话题的讨论，并不是谁爱不爱国）！！

分析完了，这部《战狼2》之所以能获得这么多人的支持，根本原因还是在于从制作上实现了《战狼1》所没有的美国大片级大场面，同时在爱国主义上引起了共鸣，激起了民心。

电影结尾预告了《战狼3》，我想必然会是一部更成功的电影，50 亿的票房预示着吴京在 3 上容易吸引更丰厚的资本投资。

投资多了意味着特效也会更牛逼，而《战狼2》里剧情上还有很大的进步空间，更有深度的剧情+更炫的画面+爱国主义+个人英雄主义+吴京口碑，《战狼3》绝对上天。

●本文编号397，以后想阅读这篇文章直接输入397即可

●输入m获取到文章目录

更多推荐《18个技术类微信公众号》

涵盖：程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。