专栏名称: 雷峰网
中国智能硬件第一媒体
51好读  ›  专栏  ›  雷峰网

Jeff Dean 解析谷歌大脑中的深度学习工作以及 TensorFlow 的前世今生(附PPT)

雷峰网  · 公众号  · 科技媒体  · 2017-01-12 22:29

正文

雷锋网招人了!


加入雷锋网,分享 AI 时代的信息红利,与智能未来同行。听说牛人都点了这里


雷锋网按:本文是Google Brain负责人Jeff Dean在硅谷人工智能前沿论坛AI Frontiers的演讲,雷锋网整理。


在深度学习的历史上,神经网络的方法在1980-1990年之后开始明显地发挥效力,在数据量、计算力的推动下,用深度学习神经网络的方法使得我们在研究和开发上获得了比其它方法更高的准确率(在图像、语音等领域)。在2011年之前,深度学习的方法能达到的图像误识率都是26%,而在今天这个数字超过了人类的误识率(5%),达到了3%。在Google今天的产品线中深度学习的方法使用非常广泛,包括Android平台、各类App中、药物研究、Gmail等等。


Google Brain 团队目前有什么样的成果:


  • 在研究方面,有27个paper在各种顶级会议中发表;


  • 推动Google搜索、广告、相册、翻译、Gmail等产品线的整合优化;


  • 发布TensorFlow等在社区中高度流行的开源工具。


谈到TensorFlow的开发,我们最初的出发点是需要创建一个合适的深度学习工具。


这个工具需要满足下面的几个条件:


1. 适合于机器学习思考和算法的表达;


2. 运行效率高,能够快速地试验想法;


3. 兼容性好,实验能在不同平台上运行;


4. 可在不同环境下分享和重现研究的问题;


5. 适合产品化:能很快从研究阶段过渡到产品应用阶段;


总结一下TF的目标就是建立一个针对机器学习方面的思考快速实验的通用系统,并且确保这个系统既是针对研究也是对产品化最好的系统。最后,这个系统不仅是Google的,而且开源的,属于平台上每一个人。


在2015年11月9日,我们发布了TensorFlow的最初版本,而目前我们已经取得了这样的成果:


1. TF当前有500+的代码贡献者;


2. 从发布至今,一共有12000次+的代码提交;


3. 100万以上的代码库下载;


4. 大量的学校和商业机构将他们的研究和开发工作搭建在TF之上(伯克利、斯坦福、OpenAI、Snapchat)。


我们在软硬件平台的支持上也不断更新。数据显示,我们已经是GitHub上最受到欢迎的深度学习工具。


深度学习在Google产生了哪些重要的影响?


  • 在语音识别上,我们推动词语识别的错误率降低了至少30%;


  • 深度卷积神经网络使得直接对未标记的照片进行搜索成为可能;


  • 我们用深度学习的方法,在街景照片中抓取识别文字;


  • 同样用深度学习的方法,在卫星俯瞰图中检索太阳能的屋顶;


  • 在医疗影像中,使用视网膜影像进行糖尿病的诊断;


  • 机器人们现在能通过机器学习的方法进行环境和语义理解;


  • RankBrian甚至被用于Google搜索中的排名优化;


  • 在Inbox中,我们通过语义分析自动化地推荐可能的回复结果,当前Inbox中10%的回复都是通过推荐生成发送的;


在机器学习的其它方面:


在过去很的的模型都是从零开始训练获得的,这是非常低效的。我们专门针对深度学习设计的硬件的TPU,将在未来20个月后进入大规模量产的阶段。


在我们的设想里,未来的搜索请求可能是这样的:请帮我查找所有关于深度学习和机器人的文献,并用德文总结出来。


我认为未来3 - 5年内,通过语音识别、语义理解的发展,机器人/自动驾驶汽车将会变得产业内非常重要的领域。


PS:附PPT+文字版本。



在深度学习的历史上,神经网络的方法在1980-1990年之后开始明显地发挥效力,在数据量、计算力的推动下,用深度学习神经网络的方法使得我们在研究和开发上获得了比其它方法更高的准确率(在图像、语音等领域)。



在2011年之前,深度学习的方法能达到的图像误识率都是26%,而在今天这个数字超过了人类的误识率(5%),达到了3%。



Google Brain团队目前有什么样的成果:



  • 在研究方面,有27个paper在各种顶级会议中发表;


  • 推动Google搜索、广告、相册、翻译、Gmail等产品线的整合优化;


  • 发布TensorFlow等在社区中高度流行的开源工具。谈到TensorFlow的开发,我们最初的出发点是需要创建一个合适的深度学习工具。



这个工具需要满足下面的几个条件:


  • 适合于机器学习思考和算法的表达;


  • 运行效率高,能够快速地试验想法;


  • 兼容性好,实验能在不同平台上运行;


  • 可在不同环境下分享和重现研究的问题;


  • 适合产品化:能很快从研究阶段过渡到产品应用阶段;



总结一下TF的目标就是建立一个针对机器学习方面的思考快速实验的通用系统,并且确保这个系统既是针对研究也是对产品化最好的系统。最后,这个系统不仅是Google的,而且开源的,属于平台上每一个人。



在2015年11月9日,我们发布了TensorFlow的最初版本,而目前我们已经取得了这样的成果:


  • TF当前有500+的代码贡献者;


  • 从发布至今,一共有12000次+的代码提交;


  • 100万以上的代码库下载;


  • 大量的学校和商业机构将他们的研究和开发工作搭建在TF之上(伯克利、斯坦福、OpenAI、Snapchat)。



我们在软硬件平台的支持上也不断更新。数据显示,我们已经是GitHub上最受到欢迎的深度学习工具。



深度学习在Google产生了哪些重要的影响?



在语音识别上,我们推动词语识别的错误率降低了至少30%;



深度卷积神经网络使得直接对未标记的照片进行搜索成为可能;



我们用深度学习的方法,在街景照片中抓取识别文字;



同样用深度学习的方法,在卫星俯瞰图中检索太阳能的屋顶;



在医疗影像中,使用视网膜影像进行糖尿病的诊断;



机器人们现在能通过机器学习的方法进行环境和语义理解;RankBrian甚至被用于Google搜索中的排名优化;



在Inbox中,我们通过语义分析自动化地推荐可能的回复结果,当前Inbox中10%的回复都是通过推荐生成发送的;



在机器学习的其它方面:


  • 在过去很的的模型都是从零开始训练获得的,这是非常低效的。我们希望通过xxx的方法来解决这个问题;我们的TPU将在,20个月之后进入大规模量产的阶段。


  • 在我们的设想里,未来的搜索请求可能是这样的:请帮我查找所有关于深度学习和机器人的文献,并用德文总结出来。


  • 我认为未来3 - 5年内,通过语音识别、语义理解的发展,机器人/自动驾驶汽车将会变得产业内非常重要的领域。



点击关键词可查看相关历史文章


● ● 

热门文章


孙剑:我在 Face++ 的这半年

哈苏是如何把一手好牌打烂的

iPhone 十年,回望这款伟大产品诞生传奇

法拉第未来发布新车,能否给乐视续1秒?

登上CES主舞台,英伟达等到了GPU计算的爆发


● ● 

小程序 | 扎克伯格开发笔记 | 共享单车

GoPro | 春运刷票原理 | AI 美颜

物联网年终盘点 | AI医疗影像公司盘点

华为5G | Autopilot 2.0 | 京东X事业部

商用性爱机器人 | 淘宝 Buy+ | 张小龙内部演讲

小米MIX 小米VR | 华为麒麟960

锤子M1/M1L | 龙芯3A3000 三星 Note 7

大疆 “御 ”Mavic | Google Home

国产多线激光雷达 | 谷歌 Daydream VR 头盔