预训练语言模型（PLM）是 NLP 领域的一大热门话题。从 BERT 到 GPT2 再到 XLNet，各种预训练模型层出不穷，不少同学感叹，「大佬慢点，跟不上了……」那么，这么多预训练模型要怎么学？它们之间有什么关联？为了理清这些问题，来自清华大学的两位本科同学整理了一份预训练语言模型必读论文列表，还用图的形式整理出了这些模型之间的复杂关系。
Github 项目： github.com/thunlp/PLMp…
在这个预训练模型论文列表项目中，两位同学首先给出了一份预训练语言模型的关系图：
图中列出了 BERT、GPT、XLNet、ERNIE 等大家熟知的模型以及它们之间的关系。以 BERT 和清华大学提出的 ERNIE 为例，张正彦等人曾在
论文
中指出，BERT 等预训练语言模型只能学习语言相关的信息，学习不到「知识」相关的信息。因此他们提出用知识图谱增强 BERT 的预训练效果，让预训练语言模型也能变得「有文化」。在这张图中我们可以清楚地看到论文中阐述的这种关系，即 BERT+知识图谱→ERNIE（清华版）。这种简化版的展示对于初学者理清思路非常有帮助。
除了这张关系图，两位同学还给出了一份预训练语言模型必读论文列表。列表分为三个部分：模型、知识蒸馏与模型压缩以及相关分析论文。机器之心曾经介绍过其中的一些论文，读者可以根据链接找到相关论文中文介绍。
模型部分包含 34 篇论文，列表如下：
「知识蒸馏与模型压缩」部分包含 11 篇论文，列表如下：
其中，机器之心介绍过的论文如下：
分析部分包含 26 篇论文，列表如下：
