这个项目致力于对抗微博的反爬虫机制，集合众人的力量把微博成千上万的微博评论语料爬取下来并制作成一个开源的高质量中文对话语料，推动中文对话系统的研发。 本系统现已实现：

• 爬取指定id用户的微博数，关注数，粉丝数，所有微博内容以及所有微博对应的评论；

• 作者考虑到制作对话系统的可行性以及微博语料的难处理性，爬取过程中，所有微博会保存为可提取的形式，具体可以参照爬取结果保存样例；

• 本项目不依赖于任何第三方爬取框架，但手动实现了一个多线程库，当爬取多用户时会开启上百条线程工作，爬取速度在每小时百万级别；

• 本项目最终目的是为了充分利用庞大的微博平台构建一个开源高质量的中文对话系统（据作者所知，很多公司对自己的数据视如珍宝，鄙之）；

• 除此之外，本项目还可以用于指定用户评论分析，比如爬取罗永浩的微博可以分析他第二年锤子手机的销量（牛逼把）

希望更多童鞋们contribute进来，还有很多工作要做，欢迎提交PR！

为人工智能而生

中文语料一直以来备受诟病，没有机构或者组织去建立一些公开的数据集，反观国外，英文语料相当丰富，而且已经做的非常精准。

微博语料作者认为是覆盖最广，最活跃最新鲜的语料，使用之构建对话系统不说模型是否精准，但新鲜的词汇量是肯定有的。

原文链接：

https://github.com/jinfagang/weibo_terminater