微软研究院发布开放数据项目，公开内部研究数据集

近期，微软对外发布了微软研究院开放数据项目（ Microsoft Research Open Data ），这套新的云数据资料库囊括了微软多年以来在已发表的研究中所使用的数据管理和研究成果。

我们的目标是为研究人员与合作者 提供一个简单便捷的平台，来共享数据集和相关研究技术与工具 。微软研究院开放数据项目旨在简化对这些数据集的访问流程，促进使用云资源的研究人员之间的协作，实现研究资源的可复用性。

微软研究院开放数据项目中的数据集

随着全球数据总量的指数级增长， 人们普遍认为在 2025 年数据总量就将超 150ZB 。人们已经认识到 应该优先处理数据 ， 而不是依赖缓慢增长的互联网带宽迁移数据。因此我们相信，开放数据集将为学术界和产业界带来巨大的应用价值。

麻省理工学院教授 Sam Madden 表示“微软开放数据项目将改变大数据时代的游戏规则，能够大大减少数据共享的障碍，借助云计算的力量促进研究资源的可复用性。”

数据集中的分类

微软研究院开放数据项目尽可能达到了数据共享的最高标准， 以确保 数据集可发现性、可访问性、互操作性和可复用性 ，且 整套数据资料库不包含 任何 个人身份信息 。

目前该项目包含了数十个已开放的数据集，我们为大家介绍其中的几个精选数据集：

微软机器阅读理解（MS MARCO）

微软机器阅读理解（ MS MARCO ）是一个全新的 用于阅读理解和问题解答的大型数据集 。在 MS MARCO 中，所有问题都来自于真正匿名用户的搜索查询。用于推断回答的上下文语境则来自于必应搜索引擎抓取的真实 Web 文档。回答则由人工生成。

文件大小： 469.03 MB

文件类型： json

许可协议：微软研究院数据许可协议

类别：社会科学、社交媒体等

详细信息：

https://msropendata.com/datasets/2bda14a7-ee25-4092-8f2f-9272d48ae903

微软研究院社交媒体对话语料库

该数据集集合了从 Twitter 日志中提取的代表 4,232 个三步会话片段的 12,696 个 Tweet ID 。数据集中的每一行表示一个单独的上下文 - 消息 - 响应三元组，众包注释者在李克特量表上为上下文响应质量的评分平均为 4 或更高。数据已被随机分为开发数据集和测试数据集，分别包含 2118 和 2114 个三元组。该数据集仅在自然语言处理社区供学术研究之用。为了访问底层推文和相关元数据，需要调用 Twitter API 。

如果在研究中使用该数据集，请在文中引用以下文章：

Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Meg Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan, A Neural Network Approach to Context-Sensitive Generation of Conversational Responses, Conference of the North American Chapter of the Association for Computational Linguistics – Human Language Technologies (NAACL-HLT 2015), June 2015.

文件大小： 245.46 KB

文件类型： txt

许可协议：微软研究院数据许可协议

类别：社会科学、社交媒体等

详细信息：

https://msropendata.com/datasets/2bda14a7-ee25-4092-8f2f-9272d48ae903

SigmaDolphin

SigmaDolphin 是 2013 年初在微软亚洲研究院启动的一个项目，其 主要目标是建立一个具有自然语言理解和推理能力的计算机智能系统，专注于自动解题的应用 ，即自动解决用自然语言编写的问题（特别是数学问题）。

文件大小： 11.54 MB

文件类型： json、pdf、pkl、py、txt

许可协议：微软研究院数据许可协议

类别：数学、统计学、逻辑学等

详细信息：

https://msropendata.com/datasets/f0e63bb3-717a-4a53-aa79-da339b0d7992

现在可以访问 microsoftopendata.com 浏览和下载可用的数据集，或者通过自动工作流将它们直接通过 Azure 订阅复制到基于 Azure 的 Data Science 虚拟机上，如下图所示。

数据集可直接复制到基于 Azure