专栏名称: OpenCV学堂

一个致力于计算机视觉OpenCV原创技术传播的公众号！OpenCV计算机视觉与tensorflow深度学习相关算法原创文章分享、函数使用技巧、源码分析与讨论、，计算机视觉前沿技术介绍，技术专家经验分享，人才交流，学习交流。

技能 | 三种主流的深度学习模型部署框架

OpenCV学堂 · 公众号 · · 2024-09-26 17:32

正文

点击上方蓝字关注我们

微信公众号： OpenCV开发者联盟

关注获取更多计算机视觉与深度学习知识

深度学习工程师做什么

深度学习已经改变了很多行业，深度学习工程师已经是不折不扣的高薪职业，但是也有越来越内卷的趋势，以前只要求会训练模型就可以了，现在多数深度学习工程师岗位都要求掌握模型训练与模型部署。

可以毫不夸张的说，以后只有既会训练，又会部署而且是会C++部署模型的深度学习工程师才会继续高薪之路，否则按照这个内卷趋势，只会训练模型，不会部署模型的深度学习工程师必然会受到后来开发者越来越多的挑战，前期积累的优势荡然无存。所以 掌握从数据标注、到模型训练、到模型部署技能 是深度学习工程师基本要求，也是未来的必然趋势。

深度学习工程化步骤

深度学习工程落地分为两个主要阶段，分别是数据准备、模型训练、模型部署三个主要阶段。

深度学习模型部署场景

深度学习模型部署场景主要包括：

云部署场景

主要是基于云服务器与分布式服务提供，企业需要支付云服务器算力费用与存储费用。优点是便于扩展，方便在多个位置与节点快速部署使用模型算法； 缺点是 与边缘部署相比，延时比较高，可靠性比较低，数据安全受到挑战，没有充分利用边缘设备算力。

边缘（PC端侧）部署场景

高性能应用的理想选择、高度可定制（使用与应用程序相关的部件构建）、灵活的定价（因为可以根据应用选择组件）。 优点是 成本可控，数据安全有保证，低延时高可靠，因此在机器视觉、安防监控等领域都大量采用该方案，依靠工控机+显卡的方式提供算力实现模型部署，支持缺陷检测、安防监控、自动化生产等。 缺点是 对一些成本特别敏感的行业依然无法大量采用该方案。

边缘（ARM、FPGA和推理板卡，智能相机）

边缘与端侧部署一个很重要的场景，典型的就是各种人工智能盒子，包括 英特尔的NUC盒子，最新推出AlxBorad板卡，英伟达的Jetson系列板卡，RK系列的板卡、树莓派等 ，已经基于他们实现的各种智能设备。他们的优点是低成本，低功耗、显著节省外围硬件算力，同时高可靠性，安全，适用于对算力要求不是很严苛的场景，支持各种轻量化的模型部署。缺点是对深度学习开发者要求较高，要求对模型进行量化，各个板卡支持的模型部署框架不同，工具链软件也不一样

深度学习主流部署框架

深度学习开发者至少应该掌握一种深度学习模型部署框架 ，当前深度学习模型部署主要有 OpenVINO、TensorRT、ONNXRUNTIME 这三个当前主流的框架。

OpenVINO来自英特尔公司，当前最新版本是OpenVINO2023.1

TensorRT来自英伟达公司，当前最新版本是TensorRT8.6

ONNXRUNTIME来自微软，当前最新版本是1.15.x

如何选择

技能 | 三种主流的深度学习模型部署框架

正文

请到「今天看啥」查看全文