人工智能 (AI) 的研究工作已取得惊人进展,计算机的用途不断拓宽。
机器在执行某些任务时比人类更快、更准确。
ILSVRC图像分类竞赛就是一个很好的例子,该竞赛使用基于机器学习 (ML) 的人工智能类型。
早在2012年,AlexNet就曾赢得这一竞赛,成为首个使用深度神经网络和GPU进行训练的网络。
到2015年,ResNet-152在图像分类领域击败人类。
▲ 图1:
机器与人类在图像分类领域的表现
计算机表现优于人类的其他例子还包括游戏。
下面列举了机器击败人类冠军的一些示例,以及人类表现仍然优于机器的非游戏案例:
▲
图2:
1997-2019年机器与人类在游戏领域的表现
显然,机器学习能够提供一些令人惊叹的新功能,这些功能对于智能家居、智能零售、智能工厂和智慧城市等应用领域而言必不可少,也被广泛运用于当今众多行业。
比如,云服务提供商提供的机器学习云服务(如Amazon AWS SageMaker、Microsoft Azure ML和Google Cloud ML Engine)显著增长就是一个明显的例子。
此前,由于有大量计算和存储资源可供使用,机器学习的部署在于运行大型集中式计算机中心的云端。
现在,在多种原因的驱使下,正在迅速地转向边缘,例如:
基于所有这些因素,对许多应用而言,边缘端显然是进行机器学习处理的理想位置。
因此,恩智浦宣布推出i.MX 8M Plus,这是第一款配备专用高性能机器学习加速器的i.MX 应用处理器。
i.MX 8M Plus使用14nm FinFET工艺技术,因而具有低功耗和高性能,并具备多项新特性,包括支持两个低成本高清图像传感器或一个4K分辨率图像传感器的双摄像头ISP,能够处理人脸、物体对象和手势识别等机器学习任务。
它还集成了独立的800MHz Cortex-M7(以便处理实时任务并获得低功耗支持)、H.265和H.264的视频编解码、800MHz HiFi4 DSP和用于语音识别的8通道PDM麦克风输入。
工业物联网特性包括支持时间敏感型网络 (TSN) 的千兆以太网、两个CAN-FD接口和ECC。
▲
i.MX 8M Plus 应用处理器框图
数据科学家正在为在边缘端部署的资源受限型设备优化特定算法,从而帮助加速迁移到边缘端。
MobileNet是Google开发的图像分类算法,侧重于高精度,同时显著减少所需的计算资源数量。
下图显示处理任务大幅减少。
从VGG-16模型转而使用MobileNet v2模型可使边缘端所需的计算量减少50倍。
这样一来,边缘端的资源受限型硬件解决方案便能够执行复杂的机器学习处理。
▲
图3:
针对边缘优化的神经网络算法
资料来源
:
https://arxiv.org/abs/
同样,在边缘手机中运行MobileNet v1明显比在云端运行更快。
造成这一差距的原因是在边缘运行消除了云端网络延迟。
往返网络延迟很容易增加200毫秒到1.4 秒以上,响应延迟显著增加。
让用户获得实时体验,目标是在100毫秒内做出响应。
▲
图4:
边缘提供更快的用户体验
下面是借助i.MX 8M Plus支持在边缘运行机器学习的部分应用。
如下所示,每个用例需要特定的性能指标,这决定了运行所需的硬件级别。
这是i.MX 8M Plus采用专用机器学习加速器的关键原因。
▲
图5:
机器学习用例
就上述原因而言,在边缘端运行机器学习应用合情合理。
但要成功部署,必须满足一些其他要求:
-
机器学习开发者生态系统——易于实现
-
硬件安全——保证隐私和安全
-
创新的全新混合SoC架构——提供经济高效的解决方案
-
可扩展且安全的边缘部署——便于部署
突破性机器学习应用需要一个以任务驱动的生态系统。
因此,恩智浦开发了创新型边缘智能 (eIQ) 工具环境,为客户提供在包括全新i.MX 8M Plus在内的一系列恩智浦SoC上部署机器学习技术所需的工具。
eIQ支持多种机器学习处理元素,包括Arm Cortex-A 和Cortex-M处理器、GPU(图形处理器)、DSP和机器学习加速器。
eIQ机器学习软件环境包含开源机器学习的推理引擎和库。
恩智浦已部署并优化这些技术,例如TensorFlow Lite、OpenCV、CMSIS-NN和Arm NN,对于热门i.MX RT应用处理器,这些技术可通过恩智浦的MCUXpresso 和Yocto (Linux)开发环境进行访问,从而为应用开发提供无缝支持。
eIQ软件附带物体对象检测和语音识别示例应用,为在边缘部署机器学习提供了一个良好的起点。
▲图6:
eIQ 机器学习开发环境
边缘安全至关重要。
所需功能包括安全启动信任锚、片上加密、安全配置、双向设备认证、安全设备管理、空中 (OTA) 安全升级更新和生命周期管理。
为支持边缘安全,恩智浦创建了可扩展的EdgeLock产品组合,其中包含安全元件、安全身份验证器、应用处理器和MCU的嵌入式安全功能。
i.MX 8M Plus采用先进的EdgeLock嵌入式安全技术,包括资源域控制器、Trust Zone、HAB、加密启动、采用RSA和椭圆曲线算法的公共密钥加密。
EdgeLock赋予边缘节点完整性、真实性和隐私性,从边缘到网关再到云,提供充分的安全性保障。
eIQ工具包为基于CPU、GPU和DSP的恩智浦现有SoC系列带来机器学习功能。
但是,即便是最快的CPU,也难以高效地执行高度复杂的神经网络。
因此,全新i.MX 8M Plus是一个混合人工智能SoC,将先进的嵌入式SoC与最新的人工智能/机器学习硬件NPU技术相结合。
于是,用户能够同时享受到这两大技术的好处,既能利用现有SoC应用,还能增加机器学习加速器的巨大并行计算能力。
在人工智能领域,变革速度不断加快。
下面来自AI Index 2018和Monster.com的图表显示了深度学习领域就业机会的增长情况:
▲