今晚20点直播 | 大规模图像识别分布式训练优化实战探讨

AI开发者 · 公众号 · AI · 2020-02-21 19:13

正文

点击上方“蓝字”关注“AI开发者”

分享主题

大规模图像识别分布式训练优化实战探讨

分享介绍

本次分享主要从各主流开源框架的分布式训练的现状谈起，会涉及各框架下分布式训练的实现和各自的优势以及局限性。之后会介绍业界目前主流的基于deepinsight模型的人图像识别算法，以及算法在图像类别数上升到数百万之后所面临的的分布式性能扩展性的挑战。随后会探讨几种解决这一挑战的解决方案，一种方案是完全的开源的方式，另一种是基于阿里云飞天AI加速器的解决方案。最后比较两种方案的性能结果，并介绍阿里云飞天AI加速器的一些技术细节，阐述飞天AI加速器最终能在相同的硬件环境下取得更优化的性能的技术原理。

PS ：阿里云开放平台&阿里云异构计算&阿里云视觉智能开放平台&NVIDIA联合举办第二届AI挑战赛正在火热进行中。

参赛获胜者有机会加入阿里云与NVIDIA企业加速计划、并获得大疆无人机等丰厚奖品。进入企业加速计划的获胜者或免费入驻阿里云创新中心并享受相关创业资源、与投资人面对面交流、进入NVIDIA初创企业扶持计划。

极客与AI创业者们，欢迎戳大赛的活动页了解详情并报名：

https://www.aliyun.com/daily-act/openplatform-developer-competition

分享嘉宾

龚志刚，阿里云智能异构计算高级技术专家，负责深度学习分布式训练的加速引擎飞天AI加速器的研发工作。加入阿里云之前，在IBM和Intel从事异构计算的研发工作超过10年，先后负责在IBM Cell.BE处理器上的数学库Lapack的研发工作，Intel Gen Graphics的OpenCL编译器以及Caffe深度学习框架的OpenCL后端的研发工作。

分享大纲

1. 分布式训练现状

a. 分布式训练的典型场景

b. 开源框架的分布式训练实现（Tensorflow，Pytorch，MXNet，Horovod）

c. 现有分布式训练的局限性