斯坦福AI百年报告2017：人工智能与机器学习全景式概览

报告全文：https://aiindex.org/2017-report.pdf

如果缺乏AI技术的相关数据，我们在有关AI的讨论和决策中，基本上是“盲目的”。

在与人工智能相关的讨论和决策中，我们本质上是“盲目的”。

“AI Index”（AI指数）是斯坦福大学AI百年研究的一个项目，它是一个开放的非营利性项目，旨在追踪人工智能的活动和进展。它的目的是促进以数据为基础的对AI的了解。本报告是AI Index的第一份年度报告，在这份报告中，我们通过多个视角来观察AI的活动和进展。我们汇总了网络上的数据，也贡献了原始数据，并从数据序列的组合中提取新的度量标准。

本报告的数据都将在AI Index网站（aiindex.org）上公开。但是，提供数据只是一个开始。为了真正实现作用，AI指数需要来自更大的社区的支持。最后，这份报告呼吁更多人的参与。你有能力提供数据、分析收集的数据，并列出你希望跟踪的数据。无论你是否有答案或问题，我们都希望这份报告能让你了解AI指数，并成为有关AI的话题的一部分。

报告总览

报告的前半部分展示了AI Index团队收集的数据。后半部分，我们讨论了报告中没有提到的一些关键领域、专家对报告中显示的趋势的评论，最后呼吁采取行动支持我们的数据收集工作，并加入关于AI技术的度量和交流进展的讨论。

数据部分

本报告中的数据包括4个主要部分：

• 活动量

• 技术表现

• 衍生测量

• 人类水平表现?

活动量（Volume of Activity）部分有关这个领域的“多少”（how much）的方面，例如参加AI会议的人数、VC对开发AI系统的初创公司的投资等。技术表现的部分有关“how good”，例如计算机在理解图像和证明数学定理方面已经做到什么程度。在报告附录中详细描述了每个数据集的收集方法。

这两组数据证实了实际上是公认的一个事实，即：所有的图表都是“向上和向右的”，反映了AI的活动是不断增加，AI技术是不断进步的趋势。在衍生测量（Derivative Measures）部分，我们调查了趋势之间的关系。我们还引入了一个探索性的测量方法——AI活力指数（AI Vibrancy Index），结合了学术界和工业界的趋势，量化了AI作为一个领域的活力。

在衡量AI系统的表现时，很自然地会将其与人类的表现进行比较。在“人类水平表现”面这一节中，我们列出了一些值得注意的领域，其中AI系统在达到甚至超越人类水平方面取得了重大进展。我们还讨论了进行这种比较时存在的困难，并提出了适当的警告。

讨论部分

在报告了团队收集的数据之后，我们将对报告中所强调的趋势进行一些讨论，并对该报告的重要领域进行全面的讨论。

部分讨论集中在报告的局限性上。这份报告的数据源倾向于以美国为中心，并且可能只通过跟踪了定义良好的基准，因此可能高估了技术领域的进展。它还缺乏数据的人口统计数据，也不包含政府和企业对AI研发投资的信息。这些领域是非常重要的，我们打算在未来的报告中解决这些问题。

我们将进一步讨论这些局限，以及其他一些在报告中缺失的部分。正如该报告的局限性所显示的， AI Index 只是描绘了局部图景。出于这个原因，这份报告也加入了各个领域的AI专家的主观评论。专家评论部分补充了对数据背后的故事的生动解释。

最后，我们将需要更多来自社区的反馈和参与来解决报告中显示的局限，揭示我们遗漏的问题，并建立一个追踪AI活动和进展的有效程序。

这份报告做了大量调查和统计，从学术（论文发表、会议参加、学生课程选修）、产业（创业、投资）、人才（招聘、职位空缺）、开源生态（Github AI和ML软件包）、媒体报道等方面，比较全面地展现了AI和ML的图景。

1、学术

首先， 论文发表数量激增 ：自从1996年以来，每年发表的AI论文数量增加了 9倍以上 。

再看不同类别的学术论文的年度发表率与1996年的发表率相比较。下图显示了所有领域的论文、计算机科学领域的论文和计算机科学领域的AI论文的增长。数据表明，人工智能发表论文数量增多，不仅受计算机科学领域升温所致。具体而言， 自1996年以来，计算机科学一般领域的论文数量增长了6倍，同期，每年的人工智能论文数量增长了9倍以上。

斯坦福大学入学选修人工智能和机器学习入门课程的学生人数，自从1996年以来增长了11倍以上。 报告指出，由于其他大学的数据掌握有限，因此突出了斯坦福的数据。但是，有理由认为，其他大学的情况应该类似。同时，报告表示这只代表了高等教育图景的一个具体细节，不一定代表更广的趋势。

会议出席情况。业内人士都知道，在计算机科学领域，各种学术会议十分重要。这些出席人数表明， 研究重点已经从符号推理转向了机器学习和深度学习 。

再来看小一些的会议的情况。 尽管研究重点有所转换，但是在小一些的研究社区，仍然在符号推理方面稳步进展。

2、产业

现在将目光转向产业界。下图展示了在美国，有资本支持的AI创业公司数量， 从2000年以来增加了14倍 ：

在美国投资AI创业的基金数量也在增长，从2000年以来，每年投入AI创业的资本额增加了6倍：

根据两个在线求职平台Indeed和Monster的数据，人工智能相关岗位需求也在增长。下图展示了Indeed.com平台上，从2013年1月份起，对AI技术相关工作岗位的份额的增长。

而在美国，需要AI技术的工作岗位，在职业市场所占份额，从2013年到现在，有了4.5倍的增长。

按国家看，加拿大和英国的AI人才招聘市场规模也增长迅速。不过，Indeed.com报告指出，两者的绝对值仍然是美国AI招聘市场的5％和27％。

Monster平台上，按具体要求的技能细分，给定年份人工智能职位空缺的总数量：

再来看自动化应用的情况，下图展示了北美和全球工业机器人的购买以及购买增幅。工业机器人的使用正在增加。

3、开源生态

最后看开源软件使用和生态。 下图展示了TensorFlow和Scikit-Learn软件包在GitHub上加星标的次数。

这张图展示了Github上其他AI和ML软件包的星标情况。

4、公众认知 / 媒体报道

包含术语“人工智能”的主流媒体文章占所有报道的比例，按照正面情绪（蓝线）、负面情绪（紫线）分类：

1. 视觉

物体识别

大规模视觉识别挑战赛（LSVRC）比赛中AI系统对物体检测任务的性能

图像标签的错误率从2010年的28.5%下降到了2.5%。

视觉问答

人工智能系统在完成回答有关图像的开放式问题任务上的表现。截止2017年8月，最好的AI系统准确率还不到70%，而人类水平在85%左右。

2. 自然语言理解

词语解析

人工智能系统在确定句子句法结构上的表现。

人工智能系统在翻译英文和德文的任务上的表现。

人工智能系统在从文档中找到既定问题答案任务的表现，已经越来越接近人类。


语音识别

人工智能系统识别语音录音的表现，2016已经达到人类水平。


定理证明

自动定理证明指的是一大组定理证明问题的平均易处理性。 “可追踪性”用来测量可以解决问题中最先进的自动定理证明器的一部分。 


SAT Solving 

具有竞争力的SAT解决者在行业应用问题上的平均表现。


另一种衡量方法：AI活力指数

通过检查各种趋势之间的关系，我们可以从前面部分衡量的标准中获得额外的洞见。下面这一部分的内容展示了AI指数所搜集到的数据如何被用于进一步分析和推动对AI发展和整个原始标准的再定义。

正如一个案例研究所展示的那样，我们通过研究学术和产业界的趋势，来探索他们的动能。进一步地，我们将这些标准综合起来，形成一个AI 活力指数。

Academia-Industry Dynamics 
 
为了探索学术和产业界AI相关活动的关系，我们首先从前面部分的内容中选择了一些有代表性的衡量指标。值得一提的是，我们调查了AI论文的发表情况，结合斯坦福大学入门级 AI 和ML课程的报名情况、VC对AI相关初创企业的投资。这些衡量标准数据是不能直接被拿来比较的：论文发表情况、学生报名情况、投资数额。为了分析这些趋势之间的关系，我们将历史追溯到2000年，这能让我们衡量标准是如何随着时间发生变化的。


数据显示，最初，学术活动（论文发表和招生）驱动稳步前进。 2010年前后，投资者开始注意到这一趋势，这成为2013年投资者总体活动急剧增加的驱动因素。再后来，学术界逐渐赶上了工业的繁荣。

AI活力指数

AI活力指数（AI Vibrancy Index）汇集了对学术和产业的衡量标准（研究成果的发表、招生和VC投资）以对AI领域进行量化。为了计算AI活力指数，我们不断地对研究成果发表数量、招生、投资的标准取平均数。


达到人类水平表现的AI，里程碑

很自然地，我们会在同一个任务上将AI系统和人类的表现进行比较。显然，在某些任务中，计算机比人类要优秀得多，例如，1970年代的小计算器就可以比人类更好地完成算术运算。但是，AI系统在处理诸如回答问题、玩游戏和进行医学诊断等更通用的任务时更加困难。

AI系统的任务往往是在非常窄的背景下进行的，这样能在特定的问题或应用上取得进展。 虽然机器在特定的任务上可能表现出卓越的性能，但是如果任务稍微有所改动，系统性能可能会大大降低。 例如，一个能读懂汉字的人能够理解中国人的言论，了解中国文化，或者在中国餐馆无障碍点餐。相比之下，这些任务中的每一项都需要不同的AI系统来完成。