DeepSeek R1迁移多模态，已开源！

视觉强化微调（Visual-RFT）正式开源！

DeepSeek-R1 继文本、数学推理、代码等领域大放异彩后，其基于规则奖励的强化学习方法首次成功迁移到多模态领域，并以 Visual-RFT（Visual Reinforcement Fine-Tuning）的形式全面开源。

其中视觉微调技术首次成功应用到多模态视觉领域。这会不会在多模态视觉领域也开启新的一轮冲击呢?

这一突破性技术使得视觉语言大模型具备更强的泛化能力，能以极少的样本完成高质量微调，在目标检测、分类、推理定位等任务中取得显著提升，甚至超越传统指令微调（SFT）方法。

论文地址：

https://arxiv.org/abs/2503.01785

开源代码：

https://github.com/Liuziyu77/Visual-RFT

什么是 Visual-RFT？

Visual-RFT (Visual Reinforcement Fine-Tuning) 是一种在视觉感知任务中采用强化学习方法的模型微调技术，并借鉴 DeepSeek-R1 的强化学习策略（GPRO），为多模态任务引入可验证奖励（Verifiable Rewards） 机制，以增强大视觉语言模型（LVLMs, Large Vision-Language Models） 在不同任务上的推理能力。

主要创新点：

1. 强化学习迁移至视觉领域：突破传统认知，首次在多模态视觉大模型中验证基于规则奖励的有效性。

2. 极少样本高效微调：相比传统 SFT 方法，Visual-RFT 仅需少量数据 （10～1000 条样本）即可实现显著提升。

3. 任务广泛：适用于 目标检测、开放目标检测、少样本分类和推理定位等任务。

4. 推理能力增强：能够分析问题，进行 “think” 推理，从而实现更精准的视觉理解。

核心奖励函数

• 目标检测：采用IoU 奖励（Intersection-over-Union, IoU Reward），通过计算预测边界框与真实边界框的重叠程度，确保模型不仅能识别目标，还能精准定位，提高检测的准确性和稳定性。

• 图像分类：采用分类准确性奖励（Classification Accuracy Reward, CLS Reward），通过对比模型预测类别与真实类别是否一致进行奖励，引导模型在有限数据下仍能精准区分细粒度类别，提升分类泛化能力。

• 推理定位：采用推理一致性奖励（Reasoning Consistency Reward），分析模型的推理逻辑是否符合指令，并结合 IoU 计算目标定位的准确性，确保模型不仅能回答问题，还能给出合理的思考过程，提高视觉推理能力。