专栏名称: NXP客栈
恩智浦半导体(纳斯达克代码:NXPI)专为互联汽车、网络安全、便携和可穿戴式应用以及物联网打造强大解决方案,帮助人们实现“智慧生活,安全连结”。
目录
相关文章推荐
吉市找铺  ·  罕见!时隔20个月!福州房价再度出现异动! ·  14 小时前  
吉市找铺  ·  罕见!时隔20个月!福州房价再度出现异动! ·  14 小时前  
福州日报  ·  定了!福州这两处,即将搬迁! ·  2 天前  
51好读  ›  专栏  ›  NXP客栈

i.MX 8M Plus深度解析: 将高性能机器学习导向边缘端

NXP客栈  · 公众号  ·  · 2020-02-07 08:00

正文



人工智能 (AI) 的研究工作已取得惊人进展,计算机的用途不断拓宽。 机器在执行某些任务时比人类更快、更准确。 ILSVRC图像分类竞赛就是一个很好的例子,该竞赛使用基于机器学习 (ML) 的人工智能类型。 早在2012年,AlexNet就曾赢得这一竞赛,成为首个使用深度神经网络和GPU进行训练的网络。 到2015年,ResNet-152在图像分类领域击败人类。




▲ 图1: 机器与人类在图像分类领域的表现


计算机表现优于人类的其他例子还包括游戏。 下面列举了机器击败人类冠军的一些示例,以及人类表现仍然优于机器的非游戏案例:


图2: 1997-2019年机器与人类在游戏领域的表现


显然,机器学习能够提供一些令人惊叹的新功能,这些功能对于智能家居、智能零售、智能工厂和智慧城市等应用领域而言必不可少,也被广泛运用于当今众多行业。 比如,云服务提供商提供的机器学习云服务(如Amazon AWS SageMaker、Microsoft Azure ML和Google Cloud ML Engine)显著增长就是一个明显的例子。


向边缘推进

此前,由于有大量计算和存储资源可供使用,机器学习的部署在于运行大型集中式计算机中心的云端。 现在,在多种原因的驱使下,正在迅速地转向边缘,例如:



  • 云处理、存储和带宽的成本高昂,阻碍将数据发送到云端以做出由人工智能推动的决策

  • 更好的用户体验需要在边缘快速做出由人工智能推动的决策

  • 隐私与安全问题限制了在云端存储的数据

  • 更高的可靠性



基于所有这些因素,对许多应用而言,边缘端显然是进行机器学习处理的理想位置。 因此,恩智浦宣布推出i.MX 8M Plus,这是第一款配备专用高性能机器学习加速器的i.MX 应用处理器。 i.MX 8M Plus使用14nm FinFET工艺技术,因而具有低功耗和高性能,并具备多项新特性,包括支持两个低成本高清图像传感器或一个4K分辨率图像传感器的双摄像头ISP,能够处理人脸、物体对象和手势识别等机器学习任务。 它还集成了独立的800MHz Cortex-M7(以便处理实时任务并获得低功耗支持)、H.265和H.264的视频编解码、800MHz HiFi4 DSP和用于语音识别的8通道PDM麦克风输入。 工业物联网特性包括支持时间敏感型网络 (TSN) 的千兆以太网、两个CAN-FD接口和ECC。


i.MX 8M Plus 应用处理器框图


数据科学家正在为在边缘端部署的资源受限型设备优化特定算法,从而帮助加速迁移到边缘端。 MobileNet是Google开发的图像分类算法,侧重于高精度,同时显著减少所需的计算资源数量。 下图显示处理任务大幅减少。 从VGG-16模型转而使用MobileNet v2模型可使边缘端所需的计算量减少50倍。 这样一来,边缘端的资源受限型硬件解决方案便能够执行复杂的机器学习处理。


图3: 针对边缘优化的神经网络算法

资料来源 : https://arxiv.org/abs/


同样,在边缘手机中运行MobileNet v1明显比在云端运行更快。 造成这一差距的原因是在边缘运行消除了云端网络延迟。


往返网络延迟很容易增加200毫秒到1.4 秒以上,响应延迟显著增加。 让用户获得实时体验,目标是在100毫秒内做出响应。


图4: 边缘提供更快的用户体验


下面是借助i.MX 8M Plus支持在边缘运行机器学习的部分应用。



如下所示,每个用例需要特定的性能指标,这决定了运行所需的硬件级别。 这是i.MX 8M Plus采用专用机器学习加速器的关键原因。


图5: 机器学习用例


就上述原因而言,在边缘端运行机器学习应用合情合理。 但要成功部署,必须满足一些其他要求:



  1. 机器学习开发者生态系统——易于实现

  2. 硬件安全——保证隐私和安全

  3. 创新的全新混合SoC架构——提供经济高效的解决方案

  4. 可扩展且安全的边缘部署——便于部署


全面的机器学习开发生态系统: eIQ™

突破性机器学习应用需要一个以任务驱动的生态系统。 因此,恩智浦开发了创新型边缘智能 (eIQ) 工具环境,为客户提供在包括全新i.MX 8M Plus在内的一系列恩智浦SoC上部署机器学习技术所需的工具。 eIQ支持多种机器学习处理元素,包括Arm Cortex-A 和Cortex-M处理器、GPU(图形处理器)、DSP和机器学习加速器。 eIQ机器学习软件环境包含开源机器学习的推理引擎和库。 恩智浦已部署并优化这些技术,例如TensorFlow Lite、OpenCV、CMSIS-NN和Arm NN,对于热门i.MX RT应用处理器,这些技术可通过恩智浦的MCUXpresso 和Yocto (Linux)开发环境进行访问,从而为应用开发提供无缝支持。 eIQ软件附带物体对象检测和语音识别示例应用,为在边缘部署机器学习提供了一个良好的起点。


▲图6: eIQ 机器学习开发环境


边缘安全: EdgeLock™

边缘安全至关重要。 所需功能包括安全启动信任锚、片上加密、安全配置、双向设备认证、安全设备管理、空中 (OTA) 安全升级更新和生命周期管理。 为支持边缘安全,恩智浦创建了可扩展的EdgeLock产品组合,其中包含安全元件、安全身份验证器、应用处理器和MCU的嵌入式安全功能。 i.MX 8M Plus采用先进的EdgeLock嵌入式安全技术,包括资源域控制器、Trust Zone、HAB、加密启动、采用RSA和椭圆曲线算法的公共密钥加密。 EdgeLock赋予边缘节点完整性、真实性和隐私性,从边缘到网关再到云,提供充分的安全性保障。


经济实惠的边缘人工智能

eIQ工具包为基于CPU、GPU和DSP的恩智浦现有SoC系列带来机器学习功能。 但是,即便是最快的CPU,也难以高效地执行高度复杂的神经网络。 因此,全新i.MX 8M Plus是一个混合人工智能SoC,将先进的嵌入式SoC与最新的人工智能/机器学习硬件NPU技术相结合。 于是,用户能够同时享受到这两大技术的好处,既能利用现有SoC应用,还能增加机器学习加速器的巨大并行计算能力。



未来

在人工智能领域,变革速度不断加快。 下面来自AI Index 2018和Monster.com的图表显示了深度学习领域就业机会的增长情况:








请到「今天看啥」查看全文