如何利用 OpenVINO™ 部署 Qwen2 多模态模型

魔搭ModelScope社区 · 公众号 · · 2024-10-19 15:43

正文

多模态大模型的核心思想是将不同媒体数据（如文本、图像、音频和视频等）进行融合，通过学习不同模态之间的关联，实现更加智能化的信息处理。简单来说，多模态大模型可以可以理解多种不同模态的输入数据，并输出相应反馈结果，例如图像理解，语音识别，视觉问题等。

图：多模态大模型任务流程

多模态大模型都会将文本生成模型作为底座模型，以支持对话能力，其中千问团队近期发布的 Qwen2-Audio 和 Qwen2-VL 便是以 Qwen2 为底座的多模态大模型，分别支持语音/文本以及图像/文本作为多模态输入，相比上一代的 Qwen-VL 和 Qwen-Audio ，基于 Qwen2 的多模态模型具备更强大的视觉理解以语音理解能力，并实现了多语种的支持。本文将分享如何利用 OpenVINO™ 工具套件在轻薄本上部署 Qwen2-Audio 以及 Qwen2-VL 多模态模型。

Qwen2-Audio 示例地址：

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/qwen2-audio/qwen2-audio.ipynb

Qwen2-VL 示例地址：

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/qwen2-vl/qwen2-vl.ipynb

Qwen2 workshop：

https://github.com/openvino-dev-samples/qwen2-openvino-workshop

OpenVINO™

Qwen2-VL

1. 模型转换及量化

目前 Qwen2-VL 的推理任务还没有被完全集成进 Optimum 工具中，因此我们需要手动完成模型的转换和量化，其中包含语言模型 lang_model，图像编码模型 image_embed，文本 token 编码模型 embed_token 模型以及图像特征映射模型 image_embed_merger。

为了简化转化步骤，我们提前对这些转化任务行进行了封装，开发者只需要调用 Qwen2-VL 示例地址中提供的函数便可完成这些模型的转换，并对其中负载最大的语言模型进行量化。这里以 Qwen2-VL-2B-Instruct 为例。

from ov_qwen2_vl import convert_qwen2vl_modelimport nncf
compression_configuration = {    "mode": nncf.CompressWeightsMode.INT4_ASYM,    "group_size": 128,    "ratio": 1.0,}
convert_qwen2vl_model("Qwen/Qwen2-VL-2B-Instruct", model_dir, compression_configuration)

2. 图片内容理解

此外在该示例中，我们也对模型的推理任务进行封装，通过以下代码便可快速部署图像理解任务，并实现文字的流式输出。由于 Qwen2-VL 对于输入数据有格式上的要求，因此我们需要提前将图片和文本包装为指定的字典格式，并调用模型自带的 processor 脚本将其转换为 prompt 输入。

question = "Describe this image."
messages = [    {        "role": "user",        "content": [            {                "type": "image",                "image": f"file://{example_image_path}",            },            {"type": "text", "text": question},        ],    }]

你可以将以下推理代码中的 device 设置为“GPU“，以激活系统中 Intel 集显或是独显的能力。

from ov_qwen2_vl import OVQwen2VLModelmodel = OVQwen2VLModel(model_dir, device)
processor = AutoProcessor.from_pretrained(model_dir, min_pixels=min_pixels, max_pixels=max_pixels)
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)image_inputs, video_inputs = process_vision_info(messages)inputs = processor(    text=[text],    images=image_inputs,    videos=video_inputs,    padding=True,    return_tensors="pt",)
generated_ids = model.generate(**inputs, max_new_tokens=100, streamer=TextStreamer(processor.tokenizer, skip_prompt=True, skip_special_tokens=True))

示例输出效果如下：

Question:

Describe this image.

Answer:

The image depicts a woman sitting on a sandy beach with a large dog. The dog is standing on its hind legs, reaching up to give the woman a high-five. The woman is smiling and appears to be enjoying the moment. The background shows the ocean with gentle waves, and the sky is clear with a soft light, suggesting it might be either sunrise or sunset. The scene is serene and joyful, capturing a heartwarming interaction between the woman and her dog.

3. 视频内容理解

由于 Qwen2-VL 可以同时支持对多个图像输入，因此可以基于这一特性实现视频内容理解，实现方法也特别简单，仅需对视频文件抽帧后保存为图片，并将这些图片基于 Qwen2-VL 提供的预处理脚本合并后，转化为 Prompt 模板，送入模型流水线进行推理。值得注意的是，当你将"type"设置为 "video"后，processor 会自动将两张图片拼接为一张，进行处理，以优化推理性能，并降低多图任务的内存占用。

question = "描述一下这段视频"messages = [    {        "role": "user",        "content": [            {                "type": "video",                "video": [                    "file://./examples/keyframe_1.jpg",                    "file://./examples/keyframe_2.jpg",                    "file://./examples/keyframe_3.jpg",                    "file://./examples/keyframe_4.jpg",                ],                "fps": 1.0,            },            {"type": "text", "text": question},        ],    }]

OpenVINO™

Qwen2-Audio

1. 模型转换及量化

针对 Qwen2-Audio，我们同样在 Qwen2-VL 示例地址中对模型的转换和量化步骤进行了接口封装，其中包含语言模型 lang_model，音频编码模型 audio_embed，文本 token 编码模型 embed_token 模型以及音频特征映射模型 projection。使用方法如下：

from ov_qwen2_audio_helper import convert_qwen2audio_modelimport nncf
compression_configuration = {    "mode": nncf.CompressWeightsMode.INT4_ASYM,    "group_size": 128,    "ratio": 1.0,}
convert_qwen2audio_model("Qwen/Qwen2-Audio-7B-Instruct", model_dir, compression_configuration)

2. 语音对话

Qwen2-Audio 提供语音对话和音频分析两种任务模式。在语音对话模式中，用户只需输入语音而无需输入文字，指令则通过语音直接传达给模型。下面则是一个音频分析的例子。

conversation = [    {"role": "system", "content": "You are a helpful assistant."},    {        "role": "user",        "content": [            {"type": "audio", "audio_url": audio_chat_url},        ],    },]
text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)audios = [librosa.load(audio_chat_file, sr=processor.feature_extractor.sampling_rate)[0]]
inputs = processor(text=text, audios=audios, return_tensors="pt", padding=True)
generate_ids = ov_model.generate(**inputs, max_new_tokens=50, streamer=TextStreamer(processor.tokenizer, skip_prompt=True, skip_special_tokens=True))

和 Qwen2-VL 一样，我们需要在构建输入 Prompt 前，提前准备好字典格式的数据，可以看到在语音对话模式下，我们仅需提供音频文件的地址或路径。该示例的输出如下：

Answer:

Yes, I can guess that you are a female in your twenties.

从输出结果可以看到 Qwen2-Audio 不光可以理解音频内容，并且可以识别对话者的音色和语调。

3. 音频分析

在音频分析模式下，Qwen2-Audio则支持多模态输入，此时我们可以将文本和音频拼接在一起，作为prompt送入模型中进行推理。

question = "What does the person say?"
conversation = [    {"role"

如何利用 OpenVINO™ 部署 Qwen2 多模态模型

正文

请到「今天看啥」查看全文