专栏名称: AI数据派

THU数据派"基于清华，放眼世界"，以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯，定期组织线下活动，分享前沿产业动态。了解清华大数据，敬请关注姐妹号“数据派THU”。

收藏 | 中文公开聊天语料库及使用方法（附链接）

AI数据派 · 公众号 · · 2019-03-13 07:30

正文

来源：专知

本文 约1000字 ，建议阅读 5分钟 。

该Github库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作。

语料内容

该库搜集了包含chatterbot、豆瓣多轮、PTT八卦语料、青云语料、电视剧对白语料、贴吧论坛回帖语料、微博语料小黄鸡语料共8个公开闲聊常用语料和短信，并对其进行了统一化规整和处理，达到直接可以粗略使用的目的。

下载语料

网盘链接：

https://pan.baidu.com/s/1szmNZQrwh9y994uO8DFL_A 提取码：f2ex

将解压后的raw_chat_corpus文件夹放到当前目录下目录结构为：

raw_chat_corpus
-- language
-- process_pipelines
-- raw_chat_corpus
---- chatterbot-1k
---- douban-multiturn-100w
---- ....
-- main.py
-- ...

执行命令即可

python main.py

推荐文章

哲学园 · 物理直觉不再是人类专属？LeCun等新研究揭示AI可如何涌现出此能力

11 小时前

哲学王 · 张宏杰：权力支配一切，是祸害中国数千年的根源

昨天

哲学园 · 婆什迦羅一世和他的正弦近似公式

2 天前

慧田哲学 · 毁掉一个人的最好方式：让他对“低级快乐”成瘾

3 天前

哲学王 · 一文了解：阿伦特的极权主义理论

3 天前

化妆师MK-雷韵祺 · 好懂易学的普通人拍照指南

8 年前

腾讯时尚 · 【90秒知道】baby晓明情侣装买菜这狗粮吃的也真是猝不及防

7 年前

上海发布 · 【最新】沪2017年公务员考试，第二批这878人拟被录用！

7 年前

齐鲁晚报 · 凉快又时尚！“北京比基尼”成新晋网红，闯入国际时尚圈！

7 年前

新材料在线 · 1台iPhone X 256G的价格能买什么？？

7 年前