专栏名称: AI算法与图像处理

考研逆袭985，非科班跨行AI，目前从事计算机视觉的工业和商业相关应用的工作。分享最新最前沿的科技，共同分享宝贵的资源资料，这里有机器学习，计算机视觉，Python等技术实战分享，也有考研，转行IT经验交流心得

CVPR25｜零训练成本！中科大创新扩散模型概念擦除方法，先验保护较SOTA提升 10 倍

AI算法与图像处理 · 公众号 · · 2025-03-08 23:00

正文

来源：我爱计算机视觉

当前，AI 图像生成技术迅猛发展，各类图文生成模型让用户能凭借简单文字描述创作出精美的图像。然而，这也引发了诸多问题，比如有人借此剽窃艺术风格、丑化 IP 角色和名人，甚至生成不安全图像。

如何以低成本且高效的方式，精准快速地从生成图像中去除这些不想要的概念，成为亟待解决的难题。

这一概念擦除任务有两个关键要求：一是擦除效果，需在生成过程中彻底清除与目标概念相关的语义；二是先验保护，即擦除目标概念时尽量不影响无关概念的生成。但现有方法难以平衡二者。

为此，中国科学技术大学联合曼彻斯特大学等机构的研究团队，提出了一种名为自适应值分解器（AdaVD）的 training-free 方法。 在无需额外训练的前提下，它实现了对目标概念的精准擦除，同时最大程度地保护了先验知识，相较于现有 SOTA 方法，先验保护能力提升 2 到 10 倍。

该成果已被CVPR2025接收。

论文标题：Precise, Fast, and Low-cost Concept Erasure in Value Space: Orthogonal Complement Matters
论文链接：https://arxiv.org/pdf/2412.06143
代码链接：https://github.com/WYuan1001/AdaVD

现有概念擦除方法主要分为基于训练（training-based）和无训练（training-free）两类。基于训练的方法需要对模型参数进行微调，尽管擦除效果较好，但成本高昂，且处理速度较慢，难以满足在线 T2I 平台的实时需求。

此外，这类方法往往难以在擦除目标概念的同时保护非目标概念。而无训练方法，如 NP、SLD 和 SuppressEOT，虽然能够实现快速擦除，但各自存在不足。

例如，NP 的擦除精度有限，SuppressEOT 需要用户手动指定目标概念的位置，而 SLD 在保护非目标概念的先验信息方面表现不佳，影响图像的整体质量。

作为一种无需训练的概念擦除方法，AdaVD 通过经典的正交补运算，在扩散模型 UNet 的值空间内进行精准擦除。

具体而言，它将原始文本提示所对应的值投影到目标概念的正交补空间，从而剥离目标概念的语义，同时最大程度地保留其他内容。此外，AdaVD 采用逐 token 计算方式，以确保对每个 token 的擦除精度，实现更灵活细致的概念擦除。

为了在保证擦除效果的同时进一步增强先验知识保护，AdaVD 还引入了自适应擦除移位机制（Adaptive Token Shift）。该机制基于文本 token 与目标概念 token 之间的语义相关性计算移位因子，从而动态调整擦除强度。