专栏名称: 小白学视觉

本公众号主要介绍机器视觉基础知识和新闻，以及在学习机器视觉时遇到的各种纠结和坑的心路历程。

重大创新！DeepSeek R1方法成功迁移到视觉领域，多模态迎来新突破！

小白学视觉 · 公众号 · · 2025-02-24 19:00

正文

重磅干货，第一时间送达

转载自：机器之心

嘿，各位开发小伙伴，今天要给大家安利一个全新的开源项目 ——VLM-R1！它将 DeepSeek 的 R1 方法从纯文本领域成功迁移到了视觉语言领域，这意味着打开了对于多模态领域的想象空间！

https://github.com/om-ai-lab/VLM-R1

这个项目的灵感来自去年 DeepSeek 开源的那个 R1 方法，靠着 GRPO（Group Relative Policy Optimization）强化学习方法，在纯文本大模型上取得了惊人的效果。

现在，VLM-R1 团队直接把它应用到了视觉语言模型上，打开了一扇新的大门！

VLM-R1 验证结果惊艳

这个项目的团队在 Qwen2.5-VL 的基础上，同时对比了 R1 和传统的 SFT 方法。结果相当惊艳：

1、稳定性拉满：R1 方法在各种复杂场景下都能保持稳定的高性能，这在实际应用至关重要！

2. 泛化能力卓越：更让人震惊的是，在领域外的测试数据上，随着训练步数增加，传统 SFT 模型的性能开始下滑，而 R1 模型却能持续提升！这意味着 R1 方法帮助模型真正 “学会” 了理解视觉内容，而不是简单地记忆！

（训练和测试领域的差异对比）

（泛化性对比，绿线是 VLM-R1，在领域外泛化性显著更优）

3、上手超简单：VLM-R1 项目团队还贴心地提供了完整的训练和评估流程，四步就能开始训练，对开发者十分友好。

小编亲测之后，在此分享一个实际案例，结果让人意外。

图片里展示了一桌子丰盛的美食，包括各种蔬菜、面饼和点心。针对图片，我们向模型提出了一个问题：“在图片中找出蛋白质含量最高的食物”。

模型不仅回答得准确：

“图片中展示了桌上的各种菜品，包括蔬菜、面饼和点心。从蛋白质含量来看，面饼或面点可能含量最高，因为它们通常由全谷物制成，面粉中含有蛋白质。虽然蔬菜也含有蛋白质，但比起这些主食来说含量较少。”

更厉害的是，它还精准地在图片中框选出了那个蛋白质含量最高的鸡蛋饼！

这种精确的视觉理解能力和推理能力，让人印象深刻！

完美展示了 VLM-R1 在实际应用中的优势：

准确的视觉识别能力

请到「今天看啥」查看全文

推荐文章

小新说车 · 问界M8最大的对手，不是理想是它

昨天

腾讯汽车 · “价格黑箱”将终结？合资车企跑步进入“一口价”时代｜合资反击战①

昨天

有车以后 · 13万不到买激光雷达，友商天塌了！

2 天前

融媒吴江 · 突然宣布！大范围裁员！

2 天前

融媒吴江 · 突然宣布！大范围裁员！

2 天前

宝马客 · 宝马M5出厂新车有这种涂鸦？真帅！

2 天前

聊聊架构 · 作为团队管理者，我是如何与团队成员共享信息的？

8 年前

她刊 · 杨幂大伯的肌肉照刷爆朋友圈，“整容”效果惊呆！

8 年前

InsDaily · 花8亿给员工买房，出差还赠送旅游，这家全世界福利最好的公司，居然还是两个中国人开的

8 年前

潮音乐 · 有一种青春，叫做朴树

7 年前

虹膜 · 今年讨论电影劳模的时候，漏掉他的名字就是最大错误

7 年前