专栏名称: OpenCV学堂

一个致力于计算机视觉OpenCV原创技术传播的公众号！OpenCV计算机视觉与tensorflow深度学习相关算法原创文章分享、函数使用技巧、源码分析与讨论、，计算机视觉前沿技术介绍，技术专家经验分享，人才交流，学习交流。

OpenVINO2024 C++ 推理使用技巧合集

OpenCV学堂 · 公众号 · · 2024-07-25 18:56

正文

点击上方蓝字关注我们

微信公众号： OpenCV学堂

关注获取更多计算机视觉与深度学习知识

前言

很多人都使用OpenVINO新版的C++ 或者Python的SDK，都觉得非常好用，OpenVINO2022之后的版本C++ SDK做了大量的优化与整理，已经是非常贴近开发的使用习惯与推理方式。与OpenCV的Mat对象对接方式更是几乎无缝对接，非常的方便好用。

导入头文件

一行代码就获取C++ SDK支持

#include

创建推理推理请求

总结起来有三种不同方式，针对单个固定输入与输出层的模型，只需要三行代码即可创建：

ov::Core ie;ov::CompiledModel compiled_model = ie.compile_model(settings.getWeight_file(), "CPU");infer_request = compiled_model.create_infer_request();

对于支持动态输入的模型，需要首先设置支持动态输入的维度，一般都是图像宽高，加载模型，创建推理请求的方式如下：

ov::Core ie;auto model = ie.read_model(settings.getWeight_file());auto inputs = model->inputs();
// change the input as dynamic shape supportfor(auto input_one : inputs){         auto input_shape = input_one.get_partial_shape();         input_shape[0] = 1;         input_shape[1] = 3;         input_shape[2] = -1;         input_shape[3] = -1;}
ov::CompiledModel compiled_model = ie.compile_model(model, "CPU");infer_request = compiled_model.create_infer_request();

如果有多个输入层的模型，想动态修改输入层与模型输入的格式，然后再创建推理请求，代码实现如下：

ov::Core ie;std::cout<<"model file: "<std::endl;< span="">auto model = ie.read_model(settings.getWeight_file());std::cout<<"read model file finished!"<<std::endl;"">
// setting input data format and layoutov::preprocess::PrePostProcessor ppp(model);ov::preprocess::InputInfo& inputInfo0 = ppp.input(0);inputInfo0.tensor().set_element_type(ov::element::u8);inputInfo0.tensor().set_layout({ "NCHW" });inputInfo0.model().set_layout("NCHW");
ov::preprocess::InputInfo& inputInfo1 = ppp.input(1);inputInfo1.tensor().set_element_type(ov::element::u8);inputInfo1.tensor().set_layout({ "NCHW" });inputInfo1.model().set_layout("NCHW");model = ppp.build();
ov::CompiledModel compiled_model = ie.compile_model(model, "CPU");this->infer_request = compiled_model.create_infer_request();

导出IR格式模型

我发现OpenVINO已经支持脚本方式导出XML的IR格式文件，简单易用，推荐给大家。以下是导出YOLOv8格式IR文件脚本，亲测有效：

ov_model = ov.convert_model("D:/python/my_yolov8_train_demo/yolov8n.onnx",                             input=[[1, 3, 640, 640]])ov.save_model(ov_model, str("D:/bird_test/back1/yolov8_ov.xml"))

图像预处理

OpenVINO已经有自己的预处理方式，代码如下：

ov::preprocess::PrePostProcessor ppp(model);ov::preprocess::InputInfo& input = ppp.input(tensor_name);// we only need to know where is C dimensioninput.model().set_layout("...C");// specify scale and mean values, order of operations is importantinput.preprocess().mean(116.78f).scale({ 57.21f, 57.45f, 57.73f });// insert preprocessing operations to the 'model'model = ppp.build();

同时你还可以使用OpenCV的blobfromImage函数来完成图像预处理：

// 预处理cv::Mat blob_image;resize(image, blob_image, cv::Size(input_w, input_h));blob_image.convertTo(blob_image, CV_32F);blob_image = blob_image / 255.0;

或者

cv::Mat blob = cv::dnn::blobFromImage(image, 1 / 255.0, cv::Size(640, 640), cv::Scalar(0, 0, 0), true, false);

预测推理

OpenVINO C++ SDK支持两种方式预测推理，分别是同步与异步模式，此外异步模式还支持Callback的方式实现后处理，这样对于实现推理流水线非常有用。代码片段如下：

同步推理，等待结果

this->infer_request.infer();

异步方式 + Callback

auto restart_once = true;infer_request.set_callback([&, restart_once](std::exception_ptr exception_ptr) mutable {    if (exception_ptr) {        // procces exception or rethrow it.        std::rethrow_exception(exception_ptr);    } else {        // Extract inference result        ov::Tensor output_tensor = infer_request.get_output_tensor();        // Restart inference if needed        if (restart_once) {            infer_request.start_async();            restart_once = false;        }    }});// Start inference without blocking current threadinfer_request.start_async();// Get inference status immediatelybool status = infer_request.wait_for(std::chrono::milliseconds{0});// Wait for one milisecondstatus = infer_request.wait_for(std::chrono::milliseconds{1});// Wait for inference completioninfer_request.wait();

cv::Mat与ov::Tensor转换

从Mat创建Tensor对象，这个时候我就喜欢模型的输入格式是NHWC的方式，这样创建Tensor，设置输入数据只要一行代码即可，示例如下：

bgr.convertTo(bgr, CV_32FC3);gray.convertTo(gray, CV_32F, 1.0/255);
ov::Tensor blob1(input_tensor_1.get_element_type(), input_tensor_1.get_shape(), (float *)bgr.data);ov::Tensor blob2(input_tensor_2.get_element_type(), input_tensor_2.get_shape(), (float *)gray.data);

推理预测结果Tensor到OpenCV Mat对象，也很简单明了，如果输出数据是NHWC四维，可以直接用下面的代码：

const float* prob = (float*)output.data();const ov::Shape outputDims = output.get_shape();size_t numRows = outputDims[1];size_t numCols = outputDims[2];

// 通道数为1 用这行

cv::Mat detOut(numRows, numCols, CV_32F, (float*)prob);

// 通道数为3 用这行

cv::Mat detOut(numRows, numCols, CV_32FC3, (float*)prob);

如果输出是1xHW的三维张量，直接用下面这样：

cv::Mat detOut

OpenVINO2024 C++ 推理使用技巧合集

正文

请到「今天看啥」查看全文