深度学习面临天花板，亟需更可信、可靠、安全的第三代AI技术|AI ProCon 2019

整理 | 夕颜

出品 | AI科技大本营（ID:rgznai100）

在人工智能领域中，深度学习掀起了最近一次浪潮，但在实践和应用中也面临着诸多挑战，特别是关系到人的生命，如医疗、自动驾驶等领域场景时，黑盒的不可解释性、安全等一系列问题仍然是产学研界关注的焦点问题。

2019 年 9 月，由新一代人工智能产业技术创新战略联盟（AITISA）指导，鹏城实验室、北京智源人工智能研究院支持，专业中文 IT 技术社区 CSDN 主办的 2019 中国 AI 开发者大会（AI ProCon 2019）在北京顺利举行。 短短 3 天之内，60+ 人工智能领域专家和领导者相聚北京，加入了这场属于 AI 开发者的盛大狂欢，探讨机器学习、自然语言处理、计算机视觉、AI+DevOps 和 AI+ 小程序等多个不同技术专题里开发者最关心的问题。

在机器学习技术专场，Real AI（瑞莱智慧）的 CEO 田天发表了题为《第三代AI思考与实践》的演讲，分享了自己对深度学习的反思。 这家成立仅一年左右的公司孵化于清华大学人工智能研究院，专注于第三代人工智能技术研究以及应用落地。

报告伊始，田天首先介绍了 RealAI 公司，表示该公司名称表达了一个理念： 希望做一些与现在市场上主流的深度神经网络不同的 AI 技术。 随后，田天用实际案例指出，当今以深度学习为代表的 AI 算法仍然存在很多局限性，面对这些局限性，RealAI 采用贝叶斯深度学习方法，带来更加可信、可靠、安全的 AI 算法。 他还讲到 AI发展的现状，以及 AI 经历第一代、第二代和第三代以来发生的变化。 最后，他还总结了第三代 AI 将带来大量全新的应用场景与商业价值。

关于第三代人工智能，RealAI 还有哪些思考和实践，让我们从田天的演讲中梳理一下。

人工智能发展现状

现在，大家讲的AI主要是指深度学习等技术，我们要讲第三代人工智能，需要首先回顾一下什么是第一代和第二代人工智能技术。

人工智能发展历程有很多不同的划分方法，从我们的角度，可以划分为两个阶段， 第一代是知识驱动的符号模型 ，最典型的是逻辑专家系统，它能够基于规则狭义定义任务系统。 现在看来，符号模型的可解释性非常强，但同时也存在一些问题，比如基于规则和知识驱动的系统很难做到大规模，系统做大需要总结大量的规则给到系统，但因为人工精力有限，不可能穷尽所有的知识，因此这种方式无法解决大规模、大数据时代的问题。 这是第一代知识驱动型的符号系统。

最近一段时间大家都做 数据驱动型 AI ，包括早期的浅层统计学习方法、现在最热门的深度学习方法，都属于第二代人工智能。 它的特点是从数据内部，不是由人提取知识编写程序，而是由程序或神经网络自动从数据中提取经验和规则，来完成未来的决策任务。 它的好处是可以面对大规模数据，并且随着数据量增大，模型的判别能力、学习能力会变得越来越强。 但它同时也存在一些问题： 一般依赖于大量高质量数据，不能适应不断变化的条件，算法的可解释性也非常差。

当前的AI困境

现在，以深度神经网络为代表的第二代 AI 算法存在基本方法层面的问题，我们比较关注的有三点： 不可靠、不安全、不可信。

不可靠主要指的是现行 AI 算法非常依赖数据，基于大量样本，每个样本要有对应标签，它的好处是可以做大数据分析，缺点是算法非常依赖数据，算法在训练数据覆盖到的场景上往往可以给出非常好的预测结果，包括人脸识别等都已经取得了很好的效果。 但对于训练数据没有覆盖到的场景，算法有时会给出让人匪夷所思的错误，特别是在实际应用场景中可能带来危害的领域，比如无人车领域，特斯拉、Uber 等都出过事故，部分原因是由于 AI 识别或预测算法出错。 这是第二代神经网络本质上的缺陷。

不可靠主要指的是算法正常应用时存在的问题，不安全则是指当一些黑客或有恶意动机的人想恶意破坏算法时，神经网络方法非常脆弱，比如对抗噪声可以误导图像识别算法，给出错误的结果。 这项技术如果使用在更加广泛的关键场景 AI 系统上，会带来非常大的危害。

不可信源于深度神经网络的不可解释性。 随着网络变得越来越复杂，特别是网络结构搜索技术的诞生，这种网络结构对于人来说根本不可理解，当将其应用到一些比较关键的场景中，如医疗或金融场景，做比较重要的决策时，决策者很难信任神经网络给出的结果，因为神经网络并不会百分之百给出准确的结果，在算法不可理解的情况下，人并不知道算法何时会出错，因此很难做出关键决策。

在这种情况下，清华大学提出了第三代人工智能的概念。 2016 年清华大学张钹院士做了题为的“后深度学习时代的人工智能”的报告，后来进一步总结为第三代人工智能。

相比于第一代和第二代，第三代人工智能是知识驱动+数据驱动，特点有三个： 第一是可信，算法能够提供白盒化模型和可理解的决策依据； 第二是可靠，能够在各种情况下实现预测效果可靠提升； 第三是安全性，算法在受到恶意攻击，或存在缺陷样本时，仍然保持较高的判断能力。 如果符合这三点，我们认为就属于第三代人工智能。

RealAI业务实践

前面主要介绍了第三代人工智能的理念/目标，接下来介绍目前我们针对此目标进行的实践和应用。

首先，上图表示在实现了第三代人工智能，或者是在安全、可靠、可信上实现突破之后，我们究竟可以有哪些应用。

比如当安全性更强时，我们可以实现更好的安防监控，实现更安全的监控，就可以对现行安防系统进行升级换代。 现在的人脸识别技术在安全性场景下存在很大威胁，我们需要对它进行升级和保护。

在可靠性方面，工业制造、自动驾驶等领域都存在可靠性的问题。 比如在工业制造领域，场景碎片化非常严重，这会导致样本不足或标注质量差，对此，必须用新的方法进行升级，才能使得算法在有噪音的数据上也能取得有价值的结果。 同样地，自动驾驶在训练数据没有覆盖的情况下，需要提高算法的判断能力。

在可信性方面，如在我们现在所关注的金融信贷风控、智能投顾、医疗诊断等场景，需要提供更多可以让人理解的判断依据，以指导帮助人们做出决策。

为了实现这些目标，可以探索尝试很多不同的技术路径，RealAI 主要选择的方向是贝叶斯深度学习，即将深度神经网络与贝叶斯机器学习相结合。

贝叶斯机器学习是传统的人工智能方法，甚至比深度学习神经网络出现更早，该方法以贝叶斯定理为核心，好处是可以将人的经验知识引入到决策里，进行不确定性计算。 近期，贝叶斯机器学习领域有很多发展。

贝叶斯机器学习一个典型的优势是对隐含变量的建模与推断，揭示背后规律。 通过贝叶斯网络方法，基于图论的结构化先验知识，可以提升模型表达的灵活性，提高学习效率。 与之相对的，深度神经网络有超强的拟合能力，可以对一些我们未知的分布和关系可以做精准的拟合，将两者结合的贝叶斯深度学习方法，可以实现目前单独通过两者都无法实现的能力。

目前在贝叶斯深度学习领域，我们主要关注三方面的技术，第一个是深度生成式模型，实现无监督或半监督学习，发现数据深层结构，同时提升可解释性； 第二个是贝叶斯神经网络方法，结合神经网络拟合能力与数据不确定性特点，提升预测可靠性； 第三个是 AI 安全技术，攻击方面通过添加特定噪声等方法干扰算法输出，防御方面通过 AI 防火墙保护模型。

这是对第三代人工智能技术方向的简单介绍， 目前我们也在进行第三代人工智能应用研发，关注的领域主要集中在金融、工业、安全领域。

在金融领域，我们通过这些比较新的技术解决现行算法解决不了的问题，比如最近我们正在研究一个有趣的问题——风控回捞解决方案，希望通过全新算法实现无偏估计，提升金融机构的大数据风控水平。

在工业制造领域，我们也有应用新的技术。 工业制造领域中一个典型的方法是工业视觉检测，在光伏面板、手机面板生产等各个机器很难替代人工的环节，如果可以取代人工可以节省大量成本。 但是，工业质检场景不像人脸识别场景，它需要搜集大量不同样本，特别是很难收集的负样本，但是因为生产设备本身可靠性相对较高，产生负样本的频次较低，经过很长时间生产才能采集到数据量足够大的负样本。 工业领域质检环节需要专业的生产工人和专家来标注，不同人给出的标准也不完全一样，这导致传统的计算机视觉流程方法无法在工业视觉检测上得到很好的应用。 对于这个问题，我们通过半监督主动学习方法来改善，并在逐步研发无监督质检方案。

另外，我们在工业领域的应用还包括工业时序预测，预测工业设备运行过程中是否出现异常。 如果能够进行很好的预测，就可以让厂商在设备出现问题之前提早更换，减少维修成本和计划外停机带来的巨大损失。

AI安全领域进展与展望

最后想讲讲人工智能的安全性问题，最近有很多 AI 应用带来大量全新安全问题的案例。

比如最近有家公司做了一个APP，让用户可以在影视片段中把自己的脸换进去，很好玩，但带来了很大的隐私保护问题，有人质疑这是否会存在利用这种技术实现刷脸支付进行攻击。 对此，我们主要做了换脸攻击和人脸识别检测，目前来看检测效果不错，但随着新的攻击技术产生，检测技术也面临很多新的挑战，需要大家在人工智能检测领域不断进行技术迭代。

此外，我们还做了针对物体识别、图像识别的隐身术，比如当在一辆卡车模型车身上专门生成对抗噪声贴纸图案，就可以欺骗算法模型，让这辆车“隐身”，在快速移动场景下，车辆的隐身效果也很好。

对于手机来说，正常情况下黑客无法进行人脸解锁，但佩戴我们做的一款眼镜模型之后就可以轻松实现手机解锁，这在目前比较主流的手机上得到了成功验证。

所以，在第三代人工智能时代，我们需要在安全性方面不断探索，新的攻击方法会带来很多新的业务模式，比如 AI 产品安全认证、标准防火墙、一些更安全的 AI 算法等。

为此，清华大学人工智能研究院与我们一同做了RealSafe安全平台，将AI 算法、攻击算法等整合在平台内，让用户快速使用，检测自己的人工智能算法是否存在漏洞，并通过我们提供的标准化算法，提升算法的安全性。

最后，总结一下我今天的演讲，共有三点：

1. 以深度学习为代表的 AI 算法仍然存在局限性，需要我们探索新的领域新的方向。

2. 贝叶斯深度学习方法可以带来更加可信、可靠、安全的 AI 算法。

3. 第三代 AI 将带来全新的商业价值。