非常感谢大家今天能够到场，今天，我将谈谈人工智能，以及DeepMind近期在做些什么，我把这场报告命名为“超越人类认知的极限”，我希望到了报告结束的时候，大家都清晰了解我想传达的思想。
1.
你真的知道什么是
人工智能吗？
对于不知道DeepMind公司的朋友，我做个简单介绍，我们是在2010年于伦敦成立了这家公司，在2014年我们被谷歌收购，希望借此加快我们人工智能技术的脚步。我们的使命是什么呢？我们的首要使命便是解决人工智能问题；一旦这个问题解决了，理论上任何问题都可以被解决。这就是我们的两大使命了，听起来可能有点狡猾，但是我们真的相信，如果人工智能最基本的问题都解决了的话，没有什么问题是困难的。
那么我们准备怎样实现这个目标呢？DeepMind现在在努力制造世界上第一台通用学习机，大体上学习可以分为两类：一种就是直接从输入和经验中学习，没有既定的程序或者规则可循，系统需要从原始数据自己进行学习；第二种学习系统就是通用学习系统，指的是一种算法可以用于不同的任务和领域，甚至是一些从未见过的全新领域。大家肯定会问，系统是怎么做到这一点的？
其实，人脑就是一个非常明显的例子，这是可能的，关键在于如何通过大量的数据资源，寻找到最合适的解决方式和算法。我们把这种系统叫做通用人工智能，来区别于如今我们当前大部分人在用的仅在某一领域发挥特长的狭义人工智能，这种狭义人工智能在过去的40-50年非常流行。
IBM 发明的深蓝系统（Deep Blue）就是一个很好的狭义人工智能的例子，他在上世纪90年代末期曾打败了国际象棋冠军加里·卡斯帕罗夫（Gary Kasporov） 。如今，我们到了人工智能的新的转折点，我们有着更加先进、更加匹配的技术。
1997年5月，IBM与世界国际象棋冠军加里·卡斯帕罗夫对决。
2.
如何让
机器听从人类的命令？
大家可能想问机器是如何听从人类的命令的，其实并不是机器或者算法本身，而是一群聪明的编程者智慧的结晶。他们与每一位国际象棋大师对话，汲取他们的经验，把其转化成代码和规则，组建了人类最强的象棋大师团队。但是这样的系统仅限于象棋，不能用于其他游戏。对于新的游戏，你需要重新开始编程。在某种程度上，这些技术仍然不够完美，并不是传统意义上的完全人工智能，其中所缺失的就是普适性和学习性。我们想通过“增强学习”来解决这一难题。在这里我解释一下增强学习，我相信很多人都了解这个算法。
首先，想像一下有一个主体，在AI领域我们称我们的人工智能系统为主体，它需要了解自己所处的环境，并尽力找出自己要达到的目的。这里的环境可以指真实事件，可以是机器人，也可以是虚拟世界，比如游戏环境；主体通过两种方式与周围环境接触；它先通过观察熟悉环境，我们起初通过视觉，也可以通过听觉、触觉等，我们也在发展多感觉的系统；
第二个任务，就是在此基础上，建模并找出最佳选择。这可能涉及到对未来的预期，想像，以及假设检验。这个主体经常处在真实环境中，当时间节点到了的时候，系统需要输出当前找到的最佳方案。这个方案可能或多或少会改变所处环境，从而进一步驱动观察的结果，并反馈给主体。
简单来说，这就是增强学习的原则，示意图虽然简单，但是其中却涉及了极其复杂的算法和原理。如果我们能够解决大部分问题，我们就能够搭建普适人工智能。这是因为两个主要原因：首先，从数学角度来讲，我的合伙人，一名博士，他搭建了一个系统叫‘AI-XI’，用这个模型，他证明了在计算机硬件条件和时间无限的情况下，搭建一个普适人工智能，需要的信息。另外，从生物角度来讲，动物和人类等，人类的大脑是多巴胺控制的，它在执行增强学习的行为。因此，不论是从数学的角度，还是生物的角度，增强学习是一个有效的解决人工智能问题的工具。
3.为什么围棋是人工智能难解之谜？
接下来，我要主要讲讲我们最近的技术，那就是去年诞生的阿尔法狗；希望在座的大家了解这个游戏，并尝试玩玩，这是个非常棒的游戏。围棋使用方形格状棋盘及黑白二色圆形棋子进行对弈，棋盘上有纵横各19条直线将棋盘分成361个交叉点，棋子走在交叉点上，双方交替行棋，以围地多者为胜。围棋规则没有多复杂，我可以在五分钟之内教给大家。这张图展示的就是一局已结束，整个棋盘基本布满棋子，然后数一下你的棋子圈出的空间以及对方棋子圈出的空间，谁的空间大，谁就获胜。在图示的这场势均力敌的比赛中，白棋一格之差险胜。
白棋以一格之差险胜。
其实，了解这个游戏的最终目的非常难，因为它并不像象棋那样，有着直接明确的目标，在围棋里，完全是凭直觉的，甚至连如何决定游戏结束对于初学者来说，都很难。围棋是个历史悠久的游戏，有着3000多年的历史，起源于中国，在亚洲，围棋有着很深的文化意义。孔子还曾指出，围棋是每一个真正的学者都应该掌握的四大技能之一（琴棋书画），所以在亚洲围棋是种艺术，专家们都会玩。
如今，这个游戏更加流行，有4000万人在玩围棋，超过2000多个顶级专家，如果你在4-5岁的时候就展示了围棋的天赋，这些小孩将会被选中，并进入特殊的专业围棋学校，在那里，学生从6岁起，每天花12个小时学习围棋，一周七天，天天如此。直到你成为这个领域的专家，才可以离开学校毕业。这些专家基本是投入人生全部的精力，去揣摩学习掌握这门技巧，我认为围棋也许是最优雅的一种游戏了。
像我说的那样，这个游戏只有两个非常简单的规则，而其复杂性却是难以想象的，一共有10170 （10的170次方） 种可能性，这个数字比整个宇宙中的原子数1080（10的80次方）都多的去了，是没有办法穷举出围棋所有的可能结果的。我们需要一种更加聪明的方法。你也许会问为什么计算机进行围棋的游戏会如此困难，1997年,IBM的人工智能DeepBlue（深蓝）打败了当时的象棋世界冠军GarryKasparov，围棋一直是人工智能领域的难解之谜。我们能否做出一个算法来与世界围棋冠军竞争呢？要做到这一点，有两个大的挑战：
一、搜索空间庞大（分支因数就有200），一个很好的例子，就是在围棋中，平均每一个棋子有两百个可能的位置，而象棋仅仅是20. 围棋的分支因数远大于象棋。
二、比这个更难的是，几乎没有一个合适的评价函数来定义谁是赢家，赢了多少；这个评价函数对于该系统是至关重要的。而对于象棋来说，写一个评价函数是非常简单的，因为象棋不仅是个相对简单的游戏，而且是实体的，只用数一下双方的棋子，就能轻而易举得出结论了。你也可以通过其他指标来评价象棋，比如棋子移动性等。
所有的这些在围棋里都是不可能的，并不是所有的部分都一样，甚至一个小小部分的变动，会完全变化格局，所以每一个小的棋子都对棋局有着至关重要的影响。最难的部分是，我称象棋为毁灭性的游戏，游戏开始的时候，所有的棋子都在棋盘上了，随着游戏的进行，棋子被对方吃掉，棋子数目不断减少，游戏也变得越来越简单。相反，围棋是个建设性的游戏，开始的时候，棋盘是空的，慢慢的下棋双方把棋盘填满。
因此，如果你准备在中场判断一下当前形势，在象棋里，你只需看现在的棋盘，就能告诉你大致情况；在围棋里，你必须评估未来可能会发生什么，才能评估当前局势，所以相比较而言，围棋难得多。也有很多人试着将DeepBlue的技术应用在围棋上，但是结果并不理想，这些技术连一个专业的围棋手都打不赢，更别说世界冠军了。
所以大家就要问了，连电脑操作起来都这么难，人类是怎样解决这个问题的？其实，人类是靠直觉的，而围棋一开始就是一个靠直觉而非计算的游戏。所以，如果你问一个象棋选手，为什么这步这样走，他会告诉你，这样走完之后，下一步和下下一步会怎样走，就可以达到什么样的目的。这样的计划，有时候也许不尽如人意，但是起码选手是有原因的。
然而围棋就不同了，如果你去问世界级的大师，为什么走这一步，他们经常回答你直觉告诉他这么走，这是真的，他们是没法描述其中的原因的。我们通过用加强学习的方式来提高人工神经网络算法，希望能够解决这一问题。我们试图通过深度神经网络模仿人类的这种直觉行为，在这里，需要训练两个神经网络，一种是决策网络，我们从网上下载了成百万的业余围棋游戏，通过监督学习，我们让阿尔法狗模拟人类下围棋的行为；我们从棋盘上任意选择一个落子点，训练系统去预测下一步人类将作出的决定；系统的输入是在那个特殊位置最有可能发生的前五或者前十的位置移动；这样，你只需看那5-10种可能性，而不用分析所有的200种可能性了。
一旦我们有了这个，我们对系统进行几百万次的训练，通过误差加强学习，对于赢了的情况，让系统意识到，下次出现类似的情形时，更有可能做相似的决定。相反，如果系统输了，那么下次再出现类似的情况，就不会选择这种走法。我们建立了自己的游戏数据库，通过百万次的游戏，对系统进行训练，得到第二种神经网络。选择不同的落子点，经过置信区间进行学习，选出能够赢的情况，这个几率介于0-1之间，0是根本不可能赢，1是百分之百赢。
通过把这两个神经网络结合起来（决策网络和数值网络），我们可以大致预估出当前的情况。这两个神经网络树，通过蒙特卡洛算法，把这种本来不能解决的问题，变得可以解决。我们网罗了大部分的围棋下法，然后和欧洲的围棋冠军比赛，结果是阿尔法狗赢了，那是我们的第一次突破，而且相关算法还被发表在《自然》科学杂志。
接下来，我们在韩国设立了100万美元的奖金，并在2016年3月，与世界围棋冠军李世石进行了对决。李世石先生是围棋界的传奇，在过去的10年里都被认为是最顶级的围棋专家。我们与他进行对决，发现他有非常多创新的玩法，有的时候阿尔法狗很难掌控。比赛开始之前，世界上每个人（包括他本人在内）都认为他一定会很轻松就打赢这五场比赛，但实际结果是我们的阿尔法狗以4:1获胜。围棋专家和人工智能领域的专家都称这具有划时代的意义。对于业界人员来说，之前根本没想到。
4.
棋局哪个关键区域被
人类
忽视了
？
这对于我们来说也是一生仅有一次的偶然事件。这场比赛，全世界28亿人在关注，35000多篇关于此的报道。整个韩国那一周都在围绕这个话题。真是一件非常美妙的事情。对于我们而言，重要的不是阿尔法狗赢了这个比赛，而是了解分析他是如何赢的，这个系统有多强的创新能力。阿尔法狗不仅仅只是模仿其他人类选手的下法，他在不断创新。在这里举个例子 ，这是第二局里的一个情况，第37步，这一步是我整个比赛中最喜欢的一步。在这里，黑棋代表阿尔法狗，他将棋子落在了图中三角标出的位置。为什么这步这么关键呢?为什么大家都被震惊到了。
