首席鉴黄师

周末不开盘，例行闲扯时间。

之前和你们提到过，我曾经从事安全相关工作。

安全包括很多方面，其中有个好玩的业务叫内容安全。

简单理解，就是识别诸位上网看了啥，有没有不该看的。若发现有人越界，要么当场阻断，要么事后喝茶。

做法很简单。

用爬虫把全球所有网站爬回来。

抽出网页中的文本内容，做语种识别，中日英法俄葡一直到十八线小语种都能cover。

然后机器学习，KNN、SVM啥的一顿操作猛如虎，懂的自然懂。

最后得到内容分类。

有的网站比较简单，程序识别手拿把掐。

比方说淘宝是电商，贴吧是社交媒体，基金业协会是政府组织。

也有的网站内容比较含糊，程序无能为力，就交给人工审核团队。

审核员大部分来自某著名非985高校，硕士在读，妹子居多，每天来上上网，顺便混个实习证明。

传说中的鉴黄师，说的就是这群人。

我觉得她们一个月浏览的成人网站数量，比诸位一辈子还多。

其实她们负责的范围很广，只不过鉴黄简单无脑，比研究各种奇奇怪怪的小语种网站轻松多了。

机器学习和人肉审核结果合并，得到全球所有网站的内容分类。

打个比方。

如果美国电信运营商威瑞森Verizon部署一份，Verizon网民的一举一动就了如指掌。

各国文化不同，价值观不同，需要管控的内容也不同。

以下敏感词略多，咱们直接换英文。

Alcoholism ：我们国家不care，但有些国家严格管控

Gambling ：很多国家合法，也有很多国家非法

Homosexuality ：美帝认为政治正确，伊朗说这是死罪

Porn ：同Gambling

Suicide ：个体事件无所谓，诱导他人集体玩这个，必须大罪

话说很多Suicide网站的内容很像节食减肥，如果你跟着教程往下做就会发现，人家是在教大家饿死啊。。。

上面五项的管控比较复杂，各国需要深度订制。