来源：Medium
编译：Yulei
发展简史
人工智能的原始构想产生于60年前，人们希望能构建像人类一样学习和思考的机器，并且在长达几十年的时间里，为着这个目标而苦苦探索。学者们始终没有找到合适的方法来实现如此灵活智能的机器，因此他们将目标转而解决更加实际和具体的智能化问题，也就是今天我们通常所说侠义范围内的人工智能产品。
近来，通过”对计算机进行编程“，到“教会“计算机学习的转变过程，学者们对人工智能的分支之一的深度学习方面有了较大突破。一方面深度学习方法虽然在某些方面十分有效，但是另一方面它的能力范围几乎完全取决于训练数据，而传统方法原则上却可以实现实时自适应学习。它们所解决的问题是高度专业化和固化的，十分依赖于训练数据的质量和范围：例如通过电话收集的语音数据训练的语音识别系统在用于麦克风语音的识别上表现不会太好; 同时在高速公路驾驶过程中训练的图像识别模型依旧无法应对城市道路; 诸如此类缺乏泛化性的模型常常困扰着工程师们，人们一直在期待着通用AI模型的诞生已解决这些问题。
侠义范围内人工智能的局限
当前AI的核心问题并不在于它们解决专业化的问题的能力—— 它们已经在某些领域完全超远了人类的表现。其核心问题在于但它们本质上是狭义的（设计上是局限的），并且它们从原理上就具有与生俱来的不变性。 传统编程以及较新的“训练有素”的AI都受到这个来自设计缺陷上的基本限制：无论他们拥有什么样的能力，它们的表现都是基于一定模式的，不会随着时间变化。人工智能在某些程度内可以被设计出有一定的学习和适应能力，但是通常而言，为了对其现有功能进行更改或扩展，需要额外对其进行编程或使用新数据集进行再训练和测试。
人工智能存在以下两个局限问题。
首先:侠义的人工智能系统无法动态适应新的情况 ——无论是新的感知线索还是情境; 或者新词，短语，产品，业务规则，目标，响应还是要求。
然而，在现实世界中，事物总是在变化，而根据下文对智能的定义，又要求其有应对变化的能力！
第二个也是更重要的问题在于目前的人工智能不具备能够思考，学习或解决问题的能力，
它们仅仅是将程序员的解决方案嵌入到他们旨在解决和感知的问题之中。 这种固化的思维方式，真的能算的上是“智能”吗？
总而言之，我们需要远超出目前解决方法的能力来解决问题 —— 目前人工智能的应用范围非常有限，它们不能利用他们当前的知识和技能来获得新领域的技能。 无法直接从用户交互中学习，它们没有记忆并甚至会一遍又一遍地犯同样的错误。 此外，他们不具备推理和解释问题的能力，理解非常有限，没有常识。所以目前的人工智能可能和我想象的“智能”相去甚远。
那么到底什么是智能呢？
一般而言，智力的定义是：对世界的认知能力，对各种目标的实现能力和将新知识与技能整合到自身现有知识体系的能力的综合体现。它必须在现实世界中，在知识和时间有限的情况下实时运行。
此外，人类智能（与动物智能相对）的特殊之处在于：我们具有形成和使用高度抽象概念的能力以及运用符号进行思考和推理的能力。
人工智能作为对人类智能的模仿，也该如此。真正的人工智能必须至少体现以下几个方面的基本能力：
1）实时主动的交互获取新的知识和技能的能力。包括一次性学习：即从单个示例中学习新内容的能力。
2)要真正理解语言，进行有意义的对话，并能够在语境，逻辑和抽象方面进行推理。
3)短期记忆能力：能了解行动的背景和目的，包括其他行动者（心理理论）的行为。
4）积极利用现有知识和技能加速学习的能力。
5）通过形成抽象和本体的知识层次来概括现有知识的能力。
6）动态管理多个潜在冲突的目标和优先级，并选择适当的选择输入激励并专注于相关任务的能力（重点和选择）。
7）识别并适当的响应人类的情绪（具有情商，情商），以及认识自己认知状态的能力(内省）。
8) 能够通过有限的知识，计算能力和时间来迅速完成上述所有工作。例如，当面对现实世界中的新情况时，我们需要快速的做出反应，而不是等待在专业超级计算机上重新训练数天的大规模神经网络后才能得到结果的反馈。
除此之外还有很多证据表明智力在现实情况中需要丰富的感知和运动基础来支撑深入的决策和推理。显然，理解现实世界的动态变化对于能够推理人类活动至关重要。在思考的过程中，我们需要掌握物体的大小，形状和纹理等特征，以及时空关系。抽象概念必须以某种方式落实到客观世界中实实在在的物体上。未来也许我们可以借助于计算机的“大脑”，从而实现“模拟”感知和行动。但是这种“捷径”是否符合常识推理仍然是一个悬而未决的问题。
如何实现真正的人工智能
实现真正意义上的人工智能，我们既需要工程解决方案，也需要正确的商业模式。
在技术方面，我们需要一种与现有技术完全不同的方法来实现 ，也许这就是'人工智能的第三次浪潮'。
一种称为认知架构的方法可以作为一个经典案例，提供实现真正智能的框架 ，认知架构方法在AI中有很长的历史。从本质上讲，它是一个拥有核心“认知引擎”的想法，它支持传统人工智能方法所需的所有基本功能。它是一个统一的，高度集成的支持结构和功能系统，它们协同工作，产生一般智能所需的所有认知能力。这些包括短期和长期记忆，模式匹配，预测，优先排序，推理，计划等等。
这种方法有几个重要的优点：
对工程方面来说太多了
虽然狭义的人工智能无法提供我们所需的所有智能和稳健性越来越明显，但是仍旧有强大的实用和商业力量阻碍了通用人工智能的发展。主要表现为以下几点：
首先，狭义的AI有几个显着的优点：设计师可以专注于一次解决一个具体问题，他们可以直接将大量特定的人类知识注入系统，也可以使用适合该特定应用的任何工程技术。他们还可以忽略可能适用于其他用例的所有限制。运用狭义的人工智能的过程中，我们无需弄清楚如何使系统充满真实智能，这样可以使得产品快的 进入市场。事实上，一个时不时会被我们犯的错误是：我们可以逐渐从狭义的人工智能变为广义的人工智能。
另一方面，阻碍人工智能发展的因素是它的难度。它必须具有内生的泛华禀赋，能够在很大范围和动态区间内运行良好，而且能够自主获取在设计时可能没有预料到的知识和技能。另外，在处理歧义和缺失知识方面的表现也十分关键，它必须明白自己何时知识不够用，并知道如何解决这个问题。面对有限的知识和计算资源，它通常必须是有鲁棒性的，并且不会出现重大的错误。
虽然针对通用人工智能的这些功能的价值和需求变得越来越清晰，但显而易见的是，开发这样的系统需要相当的远见和方法。实现真正的通用人工智能真很难很难！
怎么样促进通用人工智能的发展？
狭义的人工智能在涉及自然语言理解的应用中的缺点是最明显的。用户们希望，通过交互式语言系统能够得到足够聪明且富有成效的结果，我们希望我们的个人虚拟聊天机器人更像是电影中充满人情味的智慧“助手”，而不是呆板的机器。通过与机器人交流，我们可以实现长时间的多轮对话，它能回忆起之前聊过的内容，并且能够知道我们的偏好和对话目的。
人类语言是我们的智慧和成就的必不可少的组成。同样，通用的人工智能也将需要完全的自然语言能力。虽然专注于机器人技术的AI开发也很重要，但这些系统最终还是需要能够阅读和遵循语言指令，并能够用自然语言解释他们的决策。
基于通用人工智能的设计将根据定义和设计来涵盖这些高级要求。他们将有更深刻的理解能力，拥有短期和长期记忆，推理能力和大量的常识，从而达到能够处理复杂对话的能力。
通过把人工智能与认知架构，改进的自然语言系统进行结合，将重新点燃和促进实现人工智能在创始之初的最初梦想 - 拥有自己的智慧，而不仅仅是人类赋予的聪明才智。
参考:
https://medium.com/intuitionmachine/from-narrow-to-general-ai-e21b568155b9
来源：Hackernoon 编译：Lin Tian
作者：Cassie Kozyrkov，谷歌云的首席决策智能工程师
我们都听说过机器学习和人工智能，但对于这两个概念的内涵我们真的理解吗？如果你不太确定的话也没问题，让我们先从这两个概念说起吧。
机器学习
本质上是一种事物标记器。机器学习不是魔法，也并非遥不可及的事物。机器学习的核心是
给事物打标签
，它首先识别的对某个事物的表述，然后告诉你它将获得什么标签。但如果我们一开始就把机器学习说成事物标签器的话，你还会有兴趣吗？答案可能是否定的，这表明市场营销和夸张宣传可能对引起人们关注这项技术有所帮助。
那么
人工智能
呢？
虽然学者们对AI的细微差别提出了异议，但工业界正在使用这个术语来指代一种特定类型的机器学习。事实上，很多时候，人们交替使用这两个名词。所以，AI也是关于标签的东西。你期待机器人吗？一个有自己的头脑的科幻事物，一个具备人类特性的存在？其实，今天的人工智能不是那样的。但我们作为人类，是一个能看到一切人类特征的物种（拟人化）。我们在面包上看到面孔，从云朵中看到身影，如果我在袜子上缝两个纽扣，我甚至可能会对它说话。那个袜子不是人，AI也不是——牢记这一点很重要。这是否令人失望呢？不过别灰心，真实的东西更有用。
让我告诉你为什么应该感到兴奋。你在照片中看到了什么？
这是什么动物？很简单，是吧？现在告诉我你的大脑用这些像素做了什么来获得答案。你只是通过你的感官接受了一些非常复杂的数据，就像用魔法一样，你把它标记为“猫”。对你来说这很容易把？但如果我们想要通过电脑完成同样的任务，让它把照片分类（标签）为猫/不是猫又会怎样呢？
机器学习是一种新的编程模式，一种将你的愿望传达给计算机的新方式。在传统的编程方法中，程序员会考虑像素和标签，与外部世界沟通，串联灵感，最后手工制作模型。模型只是一个配置或是一组指令。
模型是一种使用计算机将数据转化为标签的配置。这只是机器用于将输入转换为输出的一些代码，可以由程序员手工操作，也可以通过算法从数据中学习。但想想那些指令是什么呢？你实际上在用这些像素做什么？你能表达一下吗？你的大脑进化得很完美，它在发挥功能，但你甚至不知道它是如何发挥功能的。这种配置很难想象出来。
用示例来代替指令去解释。
如果你能直接跟电脑表达“在这里，看看一堆有关猫的例子，看看一堆不是猫的例子，然后自己弄清楚”，这样会更好吗？这是机器学习的本质。这是一个完全不同的编程范例。现在，你将学习如何在数据中应用算法并将其转化为数据，而不是提供明确的指令。无需亲自动手进行配置。
AI
允许你将那些不可言喻的事物自动化
。为什么这令人兴奋呢？因为这是为了用我们以前不能用的方式表达我们对计算机的期望。我们喜欢让电脑为我们服务。 但如果无法想出合适的指令，我们怎么可能发出指令呢？如果它们是不可言说的话？人工智能和机器学习是关于自动化那些难以形容的事物。它们用示例而非指令来解释自己。这解锁了许多我们过去无法让电脑帮助实现任务，因为当时我们无法发出指令。
下面我们来看看这些
概念有何区别
。此前，我说过不介意在工业界中混用“人工智能”和“机器学习”。但在技术上而言，这是正确的吗？
工业界的“人工智能”在技术上被称为“深度学习”。学术界并不认为人工智能（AI）和机器学习（ML）是可互换的，作为一个曾经的学者，我认为在技术上，AI是ML的真超集，而ML是深度学习的真超集。深度学习（DL）是使用特定类别的算法（神经网络）的ML，这也是工业界对AI的理解。这样理解合适吗？
但我认为大多数人（以及工业界）并不会特别在乎这种差异，他们在语言的使用上也不那么正式。无论我们喜欢与否，语言都会发展。AI最初被教授使用，现在它已成为普通词汇了。
无论我们喜欢与否，语言都会发展
带着有可能冒犯研究人员的风险，我认为最有帮助的是，认可工业界中对这些词汇的用法并对那些不在意这些细微差别的读者进行解释。只要我们的速度跟得上，语言的发展不是个问题。AI这一术语首次出现于1956年，但却从未有过严格的定义。即便术语定义不明确，但却并不影响我们正确地使用它。
需要注意的是，如果你认为的AI为实际上在技术上被称为强化学习（RL）且你误用了这些名词的话，是不是有点尴尬呢？当然，这没关系。如果你的定义取决于一系列行动、规划、从环境中收集信息，为未来行为制定政策——一个典型的例子是计算机学习用玩具直升机做特技演习——那你可能说的是RL。
如果你淹没在这些术语之中：AI，ML，DL，RL，同时绝望地寻找机器人实体或科幻，那么你可能会喜欢“类人智慧”（Human-like intelligence，HLI）一词。如果你想要使用“AI”以唤起个性，那么最好称之为“HLI”。那些担心HLI潜伏在每个柜子里的人可以轻松呼吸；所有这些工业界的AI应用程序都不是HLI，它们并非要构建真正的思想。每个人都忙于使用AI来解决真正的商业问题，这些问题涉及到实在却无趣的标签。
咱们总结一下：当你听到工业界的讨论时，人工智能和机器学习很可能是同义词，它们与HLI没有多大关系。
实际上，从应用程序的角度来看，你在开始之前不需要将你的业务问题归类为AI / ML / DL。你只要尝试所有可以算出来的算法，然后迭代到更好的执行者身上。如果简单的配置运行良好，那意味着你获得了一个解决方案，在生产中更容易维护。但毋庸置疑的是，无论是机器学习还是人工智能，都是人类进步的巨大飞跃。 这是未来，而未来就在这里！
来源：TowardsDataScience
编译：T.R
机器学习是一种比手工编程更为高效的解决方案，通过对于数据的分析和学习来解决一系列广泛复杂的问题。随着数据的增加、更多充满挑战的问题正在被逐一攻破。然而在应用机器学习的过程中需要工程师和科学家应用一系列在课本中无法找到的技巧和经验，
为此华盛顿大学的Pedro教授发表了一篇文章阐述了12个机器学习中的宝贵经验，以分类器为例阐述了理清了一些概念、提出一些常见的技巧和容易陷入的误区，以帮助我们在理解和应用机器学习的路上走得更远。
学习=表示+评价+优化
对于一个具体的机器学习问题，面对眼花缭乱的算法到底该选择哪一个呢？我们首先需要明白机器学习的三要素：
-
表示：一个分类器需要用计算机能够处理的语言来表达出来，我们需要在表达的假设空间中来寻找分类器。如果分类器不在这一空间中我们是无法学习到数据的特征的。所以与数据表达相关的特征选择将会是后文讨论的要点
-
评价指标：我们需要建立一个评价函数来找出表现好的分类器。通过一些指标来指导我们调整分类器的结构和参数。
-
优化方法：我们同样还需要一种方法来根据评价函数改变模型，使其具有更好的表现。初学者一般会使用已有的集成优化算法，经过一段时间的学习将会逐步建立起自己的优化器来改进模型的表现。
下表是三种要素一些常见的分类：
泛化性
机器学习的根本目标是在训练数据外的样本上实现较好表现的泛化性。因为无论训练数据有多少，我们总是无法保证它们覆盖了所有的情况。大多数初学者很容易犯的错误就是在训练数据上获得了好的结果就沉浸在成功的喜悦中。所以需要记住机器学习模型的好坏是看它在新数据上的表现的。如果你请别人做分类器，那么你一定要保留一些数据作为测试、如果你为别人做分类器也需要在最开始保留一部分数据来测试分类器的有效性。
虽然保留测试数据集减少了训练数据的大小，但我们可以通过交叉验证来克服这一问题。通过将数据分为数分，并将其中每一份轮流作为测试集以调节算法的表现。
泛化性作为机器学习的目标时，我们一般会使用训练误差来作为指导而不是去操作被优化的函数本身。同时局部优化算可能比全局优化算法表现好。
仅仅有数据是不够的
把泛化性作为机器学习的指标带来了一个严重的问题：数据永远是不够的！在没有额外信息的情况下我们无法获取一个比随机更好的模型。但幸运的是目前大多数假设已经足够帮助模型做的足够好，这也是目前机器学习如此成功的原因。就像演绎和规划法是知识的杠杆一样，可以将一小部分的输入知识转换大量的输出。但它们却不能不输入任何东西就生成出知识来。机器学习不是魔法，它不能从无到有的生成知识，只能从少到多。学习和种植作物很像，我们需要做的是将种子和养料施下，剩下的就交给大自然了。学习则是通过数据和知识的结合生成可以处理实际问题的程序了。
过拟合有不同的面貌
如果模型过于复杂而训练数据又不充分的情况下我们就有陷入过拟合的危险。我们都和熟悉过拟合但对于它的来源却不甚了解。通常情况下我们将它分解为偏差和方差两个部分来理解，其中偏差是模型产生错误结果的一种趋势，而方差则是产生结果的随机性。通常情况下线性分类器的偏差会很高，而决策树偏差很小但方差却很大。同样对于不同的优化方法来说，集束搜索的偏差比贪婪搜索要低但方差很高，因为它尝试了更多的假设。最后需要注意的是，过拟合不是由噪声引起的，及时全部正确的训练样本也会出现过拟合问题。
上文提到的交叉验证是对抗过拟合的好方法，但对于参数很多的模型来说正则化则更有效。通过引入对复杂项的惩罚来保持模型的简练，使得模型不容易产生过拟合。
直觉在高维空间中失效
在二维或者三维空间中构建一个分类器对于人类来说很容易，我们可以在视觉上审视其边界。但我们对于高维空间缺乏足够的经验，使得我们难以理解其中的奥妙，这阻碍了我们设计出更好的分类器。有些时候更多的特征维度可能会带来更糟的结果。
高维空间的分布不像低维空间这么均匀，主要集中在壳层表面和周围。但幸运的是大多数的样本集中在近低维的流型上，这使得我们可以在有效的低维度上建模。或者利用维度减约技术来缩减维度，帮助学习。
论文中的理论并不像看起来的那样
论文中的很多结论都有他们存在的假设、边界、条件。他们主要的作用是作为理解和推动算法设计的资源，而不是我们在算法实践中的决策标准。他们可以有力的推动算法的设计。正因为数据和理论的深度交融才使机器学习领域迅速发展。但机器学习领域的论文是一种开发交融的交流，前人的工作并不意味着要约束后来者的工作，而是帮助后来者走得更好的动力和源泉。
关键的特征工程
每天都会有很多机器学习算法成功也会有很多算法谢幕，其中决定成败的原因是他们使用的特征各不相同。如果一个算法可以使用一些相互独立并与分类相关的特征它就很容易实现，但当分类十分复杂特征不明显时，这就面临很大的困难。
很多情况下原始数据并不能提供最好的特征表示。所以这是机器学习中我们需要最为重视也是很多技巧所在的地方。
很多新人会惊讶于在问题中真正用于学习的时间很少，而很多时间却用于繁杂的数据收集、整合以及清洗，并进行预处理和特征设计。同样机器学习不是一个一蹴而就的过程，而是一个循序渐进迭代的过程。特征工程虽然涉及领域知识，但却是学习工程中的中重要内容。
虽然机器学习的圣杯是自动抽取特征的一系列算法，但实际工作中真正有效的算法还是来源于特征的迭代和结合。要重视特征工程带来的作用。
更多的数据胜过更好的算法
但我们得到一个模型后，需要进一步改进这个模型我们有两种可行的办法，其一是建立更好的算法那，其二是收集更多的数据来训练已有的算法。虽然很多机器学习研究者偏爱新算法，但收集更多数据才是提高模型表现更为快速的方法。毕竟机器学习的本质就是从数据中学习知识嘛。
随着数据的增加引入了规模性的问题。在机器学习中，除了时间和内存、另一个重要的资源就是训练数据。但数据的增加也带来了矛盾，越多的数据虽然模型越复杂，但会耗费越多的时间来计算。在实际情况中，很多情况下人们都从最简单的算法开始逐步尝试。算法一般分为两种类型一种是具有固定参数的类型，像线性分类器随着数据增加它具有一个上限。另一种是可变化的模型，可以随着数据规模的增加改变模型的大小（也称为非参数模型），他们可以充分利用数据。但由于算法同样存在限制，实际中性能也具有上限。
在机器学习中最大的瓶颈不是算力也不是数据，而是人类的介入。我们需要比较算法调整模型，也需要将算法数据的结果变成人类可以理解的方式来分析。人类介入产生的价值和努力很难定量计算，但却十分重要。研发出先进的算法需要机器学习专家和领域专家的通力合作。
多个模型优于单个模型
早先机器学习的研究者们，每个人都基于先验知识有各自钟爱的学习模型。而后随着时代的发展，人们开始尝试多种模型并从中选取最优的作为解决方法。但后来人们发现，与其选出最优的方案，不如直接将多个模型的结果综合到一起来的好。目前通常的做法是从训练集中随机选出一系列数据并单独训练分类器，而后利用权重或者投票的方法将这些分类器综合起来解决问题。
通常来说，利用权重分配训练样本使得新的分类器主要集中于原先分类器错误的样本上，这类方法称为推举法（boosting）；而独立分类器的输出作为高层分类器的输入，这样称为堆叠法。
简洁与精度
奥卡姆剃刀在机器学习中意味着精度与复杂度的平衡。如果两个训练误差相同的模型，那们较为简单的模型意味着更低的测试误差。但天下没有免费的午餐，就如前文提到的模型综合一样，我们不能说简单的模型就一定更好，同样参数的个数越多也不一定意味着过拟合。
模型的复杂度意味着假设空间的大小。更小的假设空间意味着我们可以用更小的表示来表达它，理论上将更简洁的表达意味着更好的泛化性。但在实际中权衡精度和复杂度的时候，我们在设计的时候更偏向与简洁的表示，而他们的精确性却是来自于我们倾向于重视精确而来的，而不是来源于假设的简洁。
可表示的特征并不意味着可以学习
理论上和变量数目相同的参数模型乐意表达或者至少无限近似其空间中的任何函数，但我们需要明白的是可以被表达并不意味着可以被学习。例如我们无法得到叶子比训练样本数还多的决策树模型。我们在训练时总是在有限的资源下搜索函数，最后的结果只是模型可以学习空间中的一小部分函数。而这一子集对于不同的表示来说却各部相同。所以学习的关键问题并不是能不能表示，而是能不能学习，并尝试不同的学习模型。数据更为复杂的表示意味着我们有可能用更少的训练数据来实现学习。目前的研究前沿之一就是在为更深更复杂的表示寻找可能的学习方法。
相关性并不意味着因果联系
我们在机器学习中学到的正是不同变量之间的相关性，而学习预测的目标则是利用这些结果去指导行动。但机器学习所能做的只是
观察
数据，而预测变量并不受机器学习的控制，这属于去
试验
数据。虽然有的算法可以从观测中抽取潜在因果联系，但应用十分有限；同时相关性只是因果的潜在表现，我们可以用于指导更深入的研究，并理解因果链条。机器学习在实践中的目标是预测行为的效果（变量的结果）而不仅仅是相关性；但如果你能收集到实验数据的话，那就竭尽所能去做吧。
和很多学科一样，机器学习拥有很多至关重要的智慧隐藏在人民群众中，这篇文章给出了很多我们在书本上学不到的技巧和知识。希望能够为我们的实践带来有益的帮助。
如果想看原文：
https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf
这位教授还提供了贴心的书籍和教程：
