专栏名称: 图灵人工智能

人工智能及其他科技学术前沿、机器学习、图像识别、语音识别、自动驾驶、自然语言处理、脑机接口、云计算、大数据、物联网、机器人、天文物理、生物科学、数学、区块链、比特币、计算机等学术前沿知识、报告、讲座等介绍。

何恺明：扩散模型不一定需要噪声条件

图灵人工智能 · 公众号 · · 2025-02-25 00:00

正文

点击上方“ 图灵人工智能 ”，选择“星标”公众号

您想知道的人工智能干货，第一时间送达

转自机器之心，版权属于原作者，仅用于学术分享，如有侵权留言删除

内容来自：机器之心

编辑：蛋酱、杜伟

一直以来，研究者普遍认为，去噪扩散模型要想成功运行，噪声条件是必不可少的。

而大神何恺明的一项最新研究，对这个观点提出了「质疑」。

「受图像盲去噪研究的启发，我们研究了各种基于去噪的生成模型在没有噪声调节的情况下的表现。出乎我们意料的是，大多数模型都表现出了优美的退化，它们甚至在没有噪声条件的情况下表现得更好。」

论文标题：Is Noise Conditioning Necessary for Denoising Generative Models?
论文地址：https://arxiv.org/pdf/2502.13129

研究者对这些模型在无噪声条件情况下的行为进行了理论分析。具体来说，他们研究了噪声水平分布中固有的不确定性、在没有噪声条件的情况下去噪所造成的误差以及迭代采样器中的累积误差。综合这些因素，提出了一个误差边界，该误差边界的计算无需任何训练，完全取决于噪声条件和数据集。

实验表明，这个误差边界与所研究的模型的噪声 - 无条件行为有很好的相关性，特别是在模型出现灾难性失败的情况下，其误差边界要高出几个数量级。

由于噪声 - 无条件模型很少被考虑，专门为这种未充分探索的情况设计模型是有价值的。为此，研究者从 EDM 模型中提出了一个简单的替代方案。在没有噪声条件的情况下，该变体可以实现很强的性能，在 CIFAR10 数据集上的 FID 得分达到 2.23。这一结果大大缩小了噪声 - 无条件系统与噪声 - 条件系统之间的差距（例如，EDM 的 FID 为 1.97）。

关于未来，研究者希望消除噪声条件将为基于去噪的生成模型的新进展铺平道路，激励业界重新审视相关方法的基本原理，并探索去噪生成模型领域的新方向。例如，只有在没有噪声条件的情况下，基于分数的模型才能学习到独特的分数函数，并实现经典的、基于物理学的朗格文动力学。

对于这项新研究，有人评论称：我们花了数年时间来完善噪声条件技术，到头来却发现即使没有噪声条件，模型同样能运行得很好。所以，科学其实就是利用额外数学的反复试错。

去噪生成模型的重构

研究者提出了一种可以总结各种去噪生成模型训练和采样过程的重构（reformulation），核心动机是隔离神经网络 NN_θ，从而专注于其在噪声条件方面的行为。

首先来看去噪生成模型的训练目标。在训练期间，从数据分布 p (x) 中采样一个数据点 x，并从噪声分布 p (ϵ)（例如正态分布 N (0, I)）中采样噪声 ϵ。噪声图像 z 由以下公式得出：

一般来说，去噪生成模型涉及最小化损失函数，该函数可以写成：

现有几种方法（iDDPM、DDIM、EDM 和 FM）的调度函数具体如下表 1 所示。值得注意的是，在研究者的重构中，他们关注的是回归目标 r 与神经网络 NN_θ 直接输出之间的关系。

其次是采样。给定训练好的 NN_θ，采样器迭代地进行去噪。具体来讲，对于初始噪声 x_0 ～ N (0, b (t_max)^2I)，采样器迭代地计算如下：

最后是噪声条件网络。在现有方法中，神经网络 NN_θ(z|t) 以 t 指定的噪声水平为条件，具体可以参见图 1（左）。

同时，t-embedding 提供时间级信息作为网络额外输入。本文的研究涉及这种噪声条件的影响，即考虑了 NN_θ(z) 和 NN_θ(z|t)，参见图 1（右）。

无噪声条件模型

基于上述重构，研究者对消除噪声条件的影响进行了理论分析，其中涉及到了训练目标和采样过程。他们首先分析了训练阶段的有效回归目标和单个去噪步骤中的误差，然后给出了迭代采样器中累积误差的上限。

有效目标

形式上，优化公式 (2) 中的损失等同于优化以下损失，其中预期 E [・] 中的每个项都有对应的唯一有效目标：

对于无噪声条件的有效目标，同样地，如果网络 NN_θ(z) 不接受 t 作为条件，则其唯一的有效目标 R (z) 应该仅取决于Z 。在这种情况下，损失为：

唯一有效目标如下：

后验集中 p (t|z)

接下来，研究者探究了 p (t|z) 与狄拉克 δ 函数的相似度。对于图像等高维数据，人们早已意识到可以可靠地对噪声水平进行估计，这意味着可以得到一个集中的 p (t|z)。

陈述 1：（p (t|z) 集中）。考虑单个数据点 x ϵ [-1, 1]^d，则 ϵ～(0, I)，t～U [-0, 1] 以及 z = (1 - t) x + tϵ（流匹配情况）。给定一个由已有 t_⁎生成的噪声图像 z = (1 - t_⁎) x + t_⁎ϵ，条件分布 p (t|z) 下 t 的方差如下：