文本挖掘林夕、黄伟文的43万字歌词，他们到底在唱些什么？

大数据文摘 · 公众号 · 大数据 · 2017-03-29 21:36

正文

本文系投稿作品作者 | 斑斑斑比

大数据文摘欢迎各类优质稿件

请联系[email protected]

编者按：

近期我们陆续推送了系列“文本分析不同场景应用”的有趣文章——

美食系列《爬下20万份菜谱，数据解读舌尖上的中国 | 饕餮文本大宴》古风系列

《手把手 | 用R分析宋词三百首自己动手写个“机器诗人”》、《计算机告诉你，唐朝诗人之间的关系到底是什么样的？》音乐系列《我分析了42万字的歌词，为了搞清楚民谣歌手们在唱些什么》、《这四十年来的香港歌坛在唱些什么，“南中国听歌最多”的数据分析师带你一探究竟》

本文也是探究音乐方面推送的又一篇文章，作者分析了林夕和黄伟文两位香港乐坛著名词作人43万字歌词后，得出了有趣的结论。

在我十几年的听歌生涯里，熟悉的歌曲可以说有80%以上的作词，都是出自香港两大金牌词人——林夕和黄伟文之手，粉丝界也出了不少文章从二人的韵脚使用、意识形态、选材议题尤其是爱情观等角度做分析，甚至网络上还有流传"林夕引进门，皈依黄伟文"的说法。作为他们的迷妹，并且最近恰好在看一些关于文本挖掘的文章，忍不住从文本挖掘的角度对他们的歌词做了一个颇粗浅的分析。

首先我通过Python爬虫在虾米音乐上抓取了所有他们的歌词文本 ，对比了虾米、网易云和QQ三大音乐门户，虾米上收录的比较全，但是抓取下来的数据也不能保证囊括了两人出道来所有的作品，所以呢结果仅作参考。

对抓取结果进行去重和去空文本后，约43万字，其中夕爷跟歪闷字数比例7:1左右，从文本歌曲数来看，夕爷跟歪闷大约一个8:1的比例，看来歪闷单曲平均字数更丰富（话唠）？ 夕爷年均产量63首，歪闷年均产量11首。 可以说夕爷绝对属于天道酬勤自带天赋的努力型选手，这应该也是夕爷在大陆知名度更高的主要原因，生产力带动了市场覆盖率，虽然歪闷没有夕爷那么高产，不过在含金量方面应该是更胜一筹的多金型选手，毕竟分母更小。

接下来是 对他们两人所有的歌词文本通过Python库（主要是jieba、snownlp）作分词、词性处理和情绪分析。 我把每个文本里的"你、我、他"等单字和oh yeah之类的语气词去掉后，用剩下的词语分别生成了两人肖像字符云，上图是夕爷，下图是歪闷（排名不分先后）

"没有"是两人词云里最突出的词

"没有"是两人词云里最突出的词， 前段时间有篇文章分析了香港四十年来歌曲关键字的变化，说在90年代后，歌坛关键词从以前的"相思、鸳鸯、我心"切换成了"没有"，词云的结果就刚好对应上了这个结论，90年代后，夕爷和歪闷包揽了香港歌坛绝大部分传唱度高的词作，而这两人使用频度最高的词就是"没有"。

夕爷的重点关键词：没有、一个、为何、怎么、什么、我们……

相聚离开都有时候，没有什么会永垂不朽——《红豆》

如果对于明天没有要求，牵牵手就像旅游——《十年》

没理由，相恋可以没有暗涌——《暗涌》

没有得你的允许我都会爱下去——《钟无艳》

一百年后没有你也没有我——《百年孤寂》

歪闷的重点关键词：没有、一个、如何、什么、可以、为何……

问我有没有，确实也没有，一直躲避的借口，非什么大仇——《最佳损友》

其实没有一种安稳快乐永远也不差——《喜帖街》

没有心别再拖，好心一早放开我——《好心分手》

我没有温柔，唯独有这点英勇——《勇》

笑我这个毫无办法管束的野孩子，连没有幸福都不介意——《野孩子》

从词性方面看两人平常惯用的招式

下图分别是夕爷和歪闷的词性使用频度

从词性来看两人惯用的前9招几乎是一模一样的：动词＞名词＞副词＞形容词＞代词＞数词＞连词＞人名＞时间词。一直到地名、其他名动词和方位词等才开始有所差别。

为了看两人具体用词的差别，我对动词，名词等常用词接着做细分，上图夕爷，下图歪闷

两人动词排名靠前的也很接近：没有、得到、需要，知道。在没有之后，有"需要"，想"得到"，也有领会（"知道"）， 区别似乎是夕爷的在没有之后是"不会""恋爱"还念着"拥抱"（"靠拥抱亦难任你拥有"——《富士山下》），歪闷的是"继续""恋爱"但是"害怕""没法"子（"害怕一直也再没法恋爱"——《耿耿于怀》）。

再看看名词方面，依然上图夕爷，下图歪闷