​纯文本对齐就能解决多模态安全问题？上海AI Lab发布VLSBench给出否定答案

如何为多模态大模型（MLLMs）的安全测试构建正确且富有挑战性的测试数据一直是一个很大的挑战。一些工作 [1, 2, 3] 表明使用简单的文本数据做对齐就能解决现有的多模态安全问题。我们进一步地发现仅仅使用简单的文本微调就能达到和大量数据进行的多模态安全对齐同样的安全效果。

我们发现这是因为现有的多模态安全 Benchmark 存在视觉安全信息泄漏的问题，导致了模型无需看图，仅仅依赖文本就能做出安全问答。

因此，我们构建了 Multimodal Visual Leakless Safety Benchmark（VLSBench），开发了一套数据生产流程，规避了视觉信息泄漏的问题。这个数据集给现有的 MLLMs 带来很大的安全挑战，并且规避了文本对齐这种捷径式的对齐方式。

论文标题： 

VLSBench: Unveiling Visual Leakage in Multimodal Safety

论文链接：

https://arxiv.org/abs/2411.19939

项目主页：

http://hxhcreate.github.io/VLSBench

代码地址：

https://github.com/hxhcreate/VLSBench

开源数据：

https://huggingface.co/datasets/Foreshhh/vlsbench

一、问题发现

定量验证

我们发现在 FigStep [4]，JailbreakV [5]，Harmbench [6] 和 VLSafe [7] 这些典型的安全数据集中，纯文本的有害性就已经和图文有害性几乎没有差异。这意味着这些数据呈现出视觉安全泄漏的问题。

定性验证

此外，我们通过 4 个样本来简要分析一下多模态安全中的信息泄漏问题是怎么出现的。

二、文本对齐捷径

安全视觉信息泄漏（VSIL）会带来什么严重的问题呢？

我们对常见的 VLM 安全 Baseline 模型例如 VLGuard [8], SPA-VL [9] 进行了测试。同时，我们也测试了仅基于文本的 MLLM 的安全对齐基线，包括 SFT 和 Unlearning。我们在三种基础的 MLLMs 上做了实验，包括 LLava-7B，LLaVA-13B 和 Qwen2-VL-7B。

通过这个实验，我们发现：

• 纯文本的对齐方案就彰显了出了很强的多模态安全性能，在这些带有视觉安全泄漏的 BenchMark 上面，同时还能呈现不错的多模态能力。

• 现有的多模态安全 Benchmark 可以很容易地被刷榜，对于 MLLMs 和各种安全对齐基线挑战性不够。

三、 VLSBench

同时我们还开发了一套完整的数据生产流程，包含如下4个步骤：

• 有害图文对的生成：包括两条线路，一条从有害元素出发，利用 LLM 生成图片描述和提问；第二条从已有图片出发，利用 MLLM 直接生成有害的提问。

• 从有害的提问中去除视觉安全泄漏，并且进行过滤。

• 将图片的描述，通过一个迭代生成的框架来生成高质量图片。

• 将获取到的图文对，进行过滤和人工校验，最后得到数据集。

四、 VLSBench实验

实验设置

我们在一些常见的 MLLM，例如 LLaVA，Qwen2VL 和 Llama3.2-Vision 上做了实验，也测试了上文提到过的一些常见安全基线，包括多模态 SFT，DPO，PPO 以及纯文本 SFT 和 Unlearning。

我们的测试使用广受认可的 GPT-4o 作为安全裁判模型，将模型输出分为三类：1）Refuse：代表模型直接拒绝了该有害的图文问题；2）Warning：模型没有明确拒绝，但是正确识别出了图文问题中的安全风险，并且没有给出有害的回复；3）Unsafe：模型没有正确识别风险，直接回答了问题，输出不安全内容。

实验结果

我们的发现如下：

• 纯文本对齐的方案不再能够呈现出明显的优势，他落后于数据更复杂，训练更细致的多模态对齐方案。

• VLSBench 对于现有的 MLLMs 和各种安全基线呈现出明显的挑战性，所有的模型包括开源闭源模型的安全率都不找过 50%。

• 现有的 MLLMs 很难去平衡简单的拒绝和有益的警告。意味着模型尽管能够一定程度上安全，但是缺乏正确的风险识别和可能的安全帮助。

五、 结论

我们的工作注意到当前多模态安全 Benchmark 中存在一个重要问题，即视觉安全信息泄漏（VSIL）。这种现象导致在评估 MLLM 的安全性时出现基于文本的偏差。

因此，当前的多模态评估数据集鼓励使用简单且看似优越的方法，与文本训练样本进行文本对齐，以解决多模态安全挑战。然而，当前的多模式安全数据集忽视了这个重要问题。

为此，我们构建了Multimodal Visual Leakless Safety Benchmark（VLSBench） 来填补多模态安全在这方面的空白。此外，我们还开发了一个数据构建流水线，成功地防止了从图像模态到文本查询的视觉信息泄漏。

在我们新提出的 VLSBench 上，我们发现当前的 MLLMs 模型都表现出很低的安全性。此外，虽然文本对齐足以解决那些存在 VSIL 的多模态数据集，但我们的  VLSBench 规避了视觉安全信息泄漏，强调啦更细致，复杂的多模态对齐方法才能够更好地解决这类多模态安全问题。

参考文献

[1] Chakraborty, Trishna, et al. "Cross-Modal Safety Alignment: Is textual unlearning all you need?." arXiv preprint arXiv:2406.02575 (2024).

[2] Wang, Pengyu, et al. "Inferaligner: Inference-time alignment for harmlessness through cross-model guidance." arXiv preprint arXiv:2401.11206 (2024).

[3] Gou, Yunhao, et al. "Eyes closed, safety on: Protecting multimodal llms via image-to-text transformation." European Conference on Computer Vision. Springer, Cham, 2025.

[4] Gong, Yichen, et al. "Figstep: Jailbreaking large vision-language models via typographic visual prompts." arXiv preprint arXiv:2311.05608 (2023).

[5] Luo, Weidi, et al. "Jailbreakv-28k: A benchmark for assessing the robustness of multimodal large language models against jailbreak attacks." arXiv preprint arXiv:2404.03027 (2024).

[6] Mazeika, Mantas, et al. "Harmbench: A standardized evaluation framework for automated red teaming and robust refusal." arXiv preprint arXiv:2402.04249 (2024).

[7] Chen, Yangyi, et al. "Dress: Instructing large vision-language models to align and interact with humans via natural language feedback." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.

[8] Zong, Yongshuo, et al. "Safety fine-tuning at (almost) no cost: A baseline for vision large language models." arXiv preprint arXiv:2402.02207 (2024).

[9] Zhang, Yongting, et al. "SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model." arXiv preprint arXiv:2406.12030 (2024).

[10] https://huggingface.co/meta-llama/Llama-Guard-3-11B-Vision

来源：公众号【PaperWeekly】

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

[email protected]

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

▼

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: 

[email protected]