专栏名称: PaperWeekly

PaperWeekly是一个分享知识和交流学问的学术组织，关注的领域是自然语言处理的各个方向。我们热爱知识，分享知识，希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。

NeurIPS 2024 | 通过条件似然差异对文生图扩散模型进行成员推理

PaperWeekly · 公众号 · 科研 · 2025-01-06 13:34

正文

请到「今天看啥」查看全文

本文是 NeurIPS 2024 入选论文《Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy》的中文解读。本文的第一作者翟胜方为北京大学博士生，研究方向为 Generative Model Security & Privacy。本文的其他合作者分别来自北京大学、清华大学、西澳大学与南洋理工大学等。

论文题目：

Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy

发表会议：

NeurIPS 2024

论文链接：

https://arxiv.org/abs/2405.14800

Introduction（为什么研究文生图模型的成员推理?）

文生图扩散模型（Text-to-image Diffusion Models）在海量图文数据（Image-text Data）中进行训练，在可控图像生成领域取得巨大成功，而与之伴随的则是更加严重的隐私泄露与数据版权问题 [1,2,3,4] 。

成员推理（Membership Inference）定义为判断一个给定数据点是否已用于训练该目标模型。成员推理被广泛用于评估模型的隐私泄露，并可以用于检测未经授权数据使用。

基于这一背景，本文针对文生图扩散模型上的成员推理任务，并重点考虑以下两个问题：1）现有的成员推理方法是否在文生图扩散模型真实有效？2）能否针对文生图扩散模型的训练/微调特性，设计针对性的高效成员推理方法？

主要贡献

1. 本文考虑了全面且现实的文生图模型成员推理实验设定，通过参考官方代码的训练步数防止过度训练并严格消除分布偏移，评估了当前面向文生图模型的成员推理在真实场景下的效果，揭示了现有工作的成功幻觉（Hallucination Success）。

2. 本文首次发现并广泛验证了文生图扩散模型训练的条件过拟合（Conditional Overfitting）现象，有助于进一步理解条件扩散模型的训练过程。

3. 基于上述现象，本文解析地推导出用于评估模型对图文样本记忆的指示器 CLiD （ C onditional Li kelihood D iscrepancy），并基于此设计两种具体的成员推理方法。实验评估显示，本文方法在成员推理的效果和面对数据增强等的鲁棒性方面均优于现有工作。

Background

2.1 成员推理任务的形式化

对于 传统机器学习任务 ，给定数据，目标模型，成员推理任务表示为：

其中表示指示器（Indicator）函数（例如最常见的：损失函数）；表示阈值参数阈值参数，用于决定成员推理的判别边界。

对于 文生图模型 ，给定图文数据对，其成员推理任务则表示为：

注：本文也考虑了只有图像数据的情况下，针对文生图模型进行成员推理的设定（参见下文/原文 4.6 节）。

2.2 扩散模型（Diffusion Models）

扩散模型的主要思想是在前向过程添加高斯噪音，使得图片逐步逼近标准正态分布，然后训练模型学习逆过程来逐步去噪。对于无条件生成的扩散模型，如 DDPM [9] ，其损失函数通过优化对数似然的证据下界（ E vidence L ower Bo und，ELBO）来得到：

而对于条件生成的扩散模型，如 Stable Diffusion [10] ，其损失函数通过优化相应的条件对数似然的 ELBO 来得到：

除了训练过程，在后文中，本文也通过 ELBO 来近似估计扩散模型的似然（Likelihood）。

Related Works

扩散模型作为研究热点，现阶段已有部分工作探索在其上的成员推理，然而并不能良好适配文生图扩散模型： [5] 提出了基于似然比（Likelihood Ratio Attack）的成员推理方法，然而该方法由于需要训练大量阴影模型（Shadow Model）导致存在高计算开销，无法扩展（Scale-up）到文生图扩散模型上。

[6,7,8] 提出了基于查询的成员推理，计算开销更小，可以扩展到文生图扩散模型。但是由于评估设定不合理而导致的成功幻觉，使其在更真实的文生图任务场景下达不到相对满意的效果。

本文方法

针对现有挑战，本文提出了一种基于 条件似然差异 （ C onditional Li kelihood D iscrepancy, CLiD）的成员推理方法。

在后文中，本文首先引入文生图模型训练过程中观察到的关键现象—— 条件过拟 合（Conditional Overfitting），这一现象为理解模型的训练行为提供了新的视角。然后在此基础上，本文推导出一种适用于文生图扩散模型的成员推理指示器。最后，基于该指示器，本文设计了两类具体的成员推理方法，有效提升了真实场景下的成员推理性能。

4.1 关键直觉—条件过拟合现象

回想无条件生成模型（例如 DDPM、GAN）的训练过程，在训练过程中的过拟合现象是指：模型输出分布相比于测试集（又名保留集：hold-out set）会更加偏向训练集（member set）：

在上式中，和分别代表成员集和保留集的分布，代表模型输出分布，该过拟合现象本质上即为现有成员推理任务的直觉基础。

而对于文生图扩散模型（条件扩散模型）的训练过程，本文强调了条件过拟合现象的存在：文生图扩散模型在条件分布上的过拟合要更显著于在边缘分布上的过拟合。其形式化如下：

通过使用不同的分布度量指标（FID 等），本文广泛验证了该现象的普适性（见原文图1、图A.1）。

4.2 条件似然差异 CLiD

使用 KL 散度代入上式，本文可以得到等价形式（证明见附录B）：

其中：

在上式中，忽略，根据不等式两边，便得到一个新的能够揭示成员资格的指示器：

由于该指示器实质上是在计算给定数据点在不同条件下的似然差值，所以称其为条件似然差异（ C onditional Li kelihood D iscrepancy，CLiD）。

接下来，本文使用 ELBO 来估计相关似然值：

其中代表使用空文本作为条件以近似估计边缘分布。由于该等式右边需要对两个 ELBO 进行单独蒙特卡洛采样，会导致较高开销。故进一步对该式进行修改，直接对 ELBO 的差值进行蒙特卡洛采样以减少计算量 [11] ：

4.3 基于CLiD的成员推理

在实际计算中，本文额外进行如下处理：

① 对文本进行不同程度的裁剪（使用代表），以进一步减小误差：

② 引入对似然的单独估计来增强效果：

注：由于对于似然的估计在前面已经计算过，所以步骤 ② 不会增加任何计算开销。

接下来，本文提出两种成员推理方法，将 ① 和 ② 中得到的不同结果进行合并，分别得到一个标量值或者一个向量值，并据此来区分成员信息（具体计算细节请参考原文）：

一、基于阈值的成员推理方法：

二、基于特征向量的成员推理方法：

其中表示分类器的置信度（本文实验中使用 XGBoost 实现）。

实验设置

合理的实验设置对于评估成员推理方法至关重要。相关工作 [12,13] 指出：不合理的评估设定可能带来成员推理的成功幻觉。基于此，本文综合考虑先前工作的实验设定和现实角度的实验设定，并考虑微调和预训练两种训练任务，以从多种角度证明本方法的有效性。

5.1 针对微调的成员推理

5.1.1 Over-training setting

本设定完全按照现有工作 [6, 8] 的实验设置，即使用 Stable Diffusion v1-4 模型在 Pokemon（训练集/保留集：416/417）、MS-COCO（2500/2500）、Flickr（2500/2500）分别微调 15,000 步、150,000 步、150,000 步。

5.1.2 Real-world training setting

由于 “Over-training” 设置中的微调步数高于实际用户通常的微调步数。所以本文参考 HuggingFace 上的微调代码示例，以 20 的 Steps/image 的比例对微调步数做了修正：即在 Pokemon（训练集/保留集：416/417）、MS-COCO（2500/2500）、Flickr（10000/10000）分别微调 7500 步、50,000 步、200,000 步。

此外本文引入了微调时常用的数据增强方法（Random-Crop和Random-Flip）以进一步模拟真实情况。

5.2 针对预训练的成员推理

针对预训练的成员推理直接检测数据是否被用于 Stable Diffusion v1-5 模型的预训练。需要注意的是，先前工作 [6, 7, 8] 通常使用 LAION-Aesthetics v2 5+ 和 MS-COCO 分别作为训练集与保留集，这会引入分布偏移（Distribution Shift） [13] ，而带来成功幻觉。

故本文分别使用 LAION-Aesthetics v2 5+ 和 LAION-2B MultiTranslated 作为训练集与保留集 [13] ，并对数据集中的文本进一步处理以消除分布偏移（细节参见原文）。

实验与分析（完整实验分析见原文）

6.1 主要结果

上表为 Over-training 设置下的评估效果。从表中可以看到，由于过高的训练步数带来的过高过拟合，所有基线均取得较好效果，本文的方法甚至达到 99% 的 ASR 和 AUC 值。此外，不同 Query（不同计算复杂度）的方法体现不出明显的效果差别，所以本文强调：该实验设定与真实训练（微调）场景不符，不能真实地反映各方法的效果差距。

上表为 Real-world training 设置下的评估效果。从表中可以看到，根据官方微调示例缩小了训练步数，并添加数据增强方法之后，本文方法相比基线的效果提升显著。

上表为预训练设置下的评估效果。

6.2 有效性轨迹（Effectiveness Trajectory）

在主实验中，可以发现，训练步数对成员推理的指标影响较大。所以本文额外观察在不同微调步数下，成员推理方法的指标变化，如下图所示：

从上图可以观察到，随着训练的进行，的 有效性轨迹 显著更快上升。在 25,000 步时，有效暴露了成员信息，而其他基线方法大约在 150,000 步时才能达到类似效果。这表明本文方法能够在文生图扩散模型的过拟合程度尚较弱时，更有效地揭示成员信息。

6.3 更弱的假设

上述实验中，本文假设成员推理的实施者可以访问完整的图文对数据点；此外，本文额外考虑一种更弱的假设：实施者只能访问图像，无法获取对应的文本：

在这种假设下，本文首先使用Image-caption模型（在实验中使用 BLIP ）为图像生成对应的伪文本（Pseudo-Text），然后基于图像-伪文本对实施本文方法。在下表中，可以观察到本文的方法依然普遍优于基线方法。可能原因在于伪文本仍会保留图像的关键信息语义，从而使本文方法依然有效。

讨论与总结

7.1 现实意义

成员推理传统上被认为是一种潜在的隐私威胁攻击方法 [14,15] 。然而，在文本生成图像任务中，大部分训练数据来自对网络公开图文对的抓取。这些数据在使用过程中，相较于隐私侵犯，更可能引发版权争端。在此背景下，成员推理可用于评估数据是否存在未经授权使用的可能性。因此，本文旨在设计更高效的成员推理方法，以推动社区在文图数据未授权使用检测方面的研究与实践，产生更积极的影响。

7.2 局限性

由于开源文生图模型的有限性，本文中在预训练的设置下的评估尚不充分。微调设定相比于预训练设定，具有更高的训练步数/图像比，所以本文承认 CLiD-MI 在预训练设置下相较于基线方法的优势不如在微调设置中显著。本文强调，预训练设置下的实验（原文表 3）揭示了现有方法的成功幻觉，并鼓励未来研究关注这一更具挑战性和实际意义的场景。

7.3 总结

本文首次指出了文生图扩散模型中的条件过拟合现象、并提出了 CLiD-MI，一种基于条件似然差异的文生图扩散模型成员推理框架。实验表明，该方法在效果上相比基线具有显著优势，并对提前停止和数据增强具有鲁棒性。本文的方法旨在为社区在图文数据的未授权使用审计方面产生更积极影响。

参考文献

[1] BBC. 'Art is dead Dude' - the rise of the AI artists stirs debate. 2022. URL https://www.bbc.com/news/technology-62788725.

[2] CNN. AI won an art contest, and artists are furious. 2022. URL https://www.cnn.com/2022/09/03/ tech/ai-art-fair-winner-controversy/index.html.

[3] Reuters. Lawsuits accuse AI content creators of misusing copyrighted work. 2023. URL https://www.reuters.com/legal/transactional/ lawsuits-accuse-ai-content-creators-misusing-copyrighted-work-2023-01-17/.

[4] WashingtonPost. He made a children’s book using AI. Then came the rage. 2022. URL https://www.washingtonpost.com/technology/2023/01/19/ ai-childrens-book-controversy-chatgpt-midjourney/.

[5] Nicolas Carlini et al. Extracting training data from diffusion models. In 32nd USENIX Security Symposium (USENIX Security 23)

[6] Jinhao Duan et al. Are diffusion models vulnerable to membership inference attacks? In International Conference on Machine Learning, 2023.

[7] Fei Kong et al. An efficient membership inference attack for the diffusion model by proximal initialization. In The Twelfth International Conference on Learning Representations, 2024.

[8] Wenjie Fu et al. A probabilistic fluctuation based membership inference attack for generative models. arXiv preprint arXiv:2308.12143, 2023

[9] Ho, Jonathan, Ajay Jain, and Pieter Abbeel. 'Denoising diffusion probabilistic models.' Advances in neural information processing systems 33 (2020): 6840-6851.

[10] Rombach, Robin, et al. 'High-resolution image synthesis with latent diffusion models.' Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.

[11] Li, Alexander C., et al. 'Your diffusion model is secretly a zero-shot classifier.' Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.

[12] Debeshee Das, Jie Zhang, and Florian Tramèr. Blind baselines beat membership inference attacks for foundation models. arXiv preprint arXiv:2406.16201, 2024.

[13] Dubiński, Jan, et al. 'Towards more realistic membership inference attacks on large diffusion models.' Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2024.

[14] Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly Shmatikov. Membership inference attacks against machine learning models. In 2017 IEEE symposium on security and privacy (SP), pages 3–18. IEEE, 2017.

[15] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis, and Florian Tramer. Membership inference attacks from first principles. In 2022 IEEE Symposium on Security and Privacy (SP), pages 1897–1914. IEEE, 2022.

更多阅读