ICML 2023: 基于扩散模型的表示学习：精准控制不同粒度的表示

深度图学习与大模型LLM(小编): 大家好,今天给大家介绍一篇有意思的研究工作，发表在ICML 2023。这篇论文提出了一种基于扩散模型的表示学习方法,称为 扩散表示学习 (Diffusion-based Representation Learning, DRL)。与传统基于重构目标的表示学习方法不同, DRL利用去噪分数匹配目标来学习数据的表示,能够手动控制表示中编码的细节级别 。实验表明, DRL学到的表示在下游任务上好于其他无监督表示学习方法 。这是一个很有意思的工作,推荐大家阅读。

1. 基本信息

论文题目：Diffusion Based Representation Learning

作者：Sarthak Mittal, Korbinian Abstreiter, Stefan Bauer, Bernhard Schölkopf, Arash Mehrjou

作者研究单位：Mila, Université de Montréal, ETH Zürich, Helmholtz AI, Technical University of Munich, Max Planck Institute for Intelligent Systems

2. 研究内容

传统的表示学习方法,如自编码器和对比学习,主要基于重构或者对比任务来学习数据的表示。而本文提出DRL,利用扩散模型的去噪过程来学习表示。通过优化去噪分数匹配目标,DRL能够学到帮助去噪的数据表示。

在扩散模型中,数据生成的过程可以看作是一个逐步去噪的过程。首先,我们在原始数据 上添加高斯噪声,得到一系列逐渐加噪的样本 。接着,模型学习一个去噪过程,通过逐步去除噪声,最终从 恢复出干净的数据 。

去噪过程的核心是学习一个得分函数(score function) ,它估计了数据分布 关于 的梯度。直观地理解,得分函数指示了去噪的方向,告诉我们如何调整 以去除噪声。

传统的扩散模型通过优化去噪分数匹配(denoising score matching)目标来学习得分函数:

其中 是真实的得分函数。这个目标函数促使学习到的得分函数 去逼近真实的得分函数。

本文的创新在于,它在得分函数中引入了一个额外的编码器 :

这个编码器 将原始数据 映射到一个隐空间表示 。 ,将数据 映射到隐空间,再作为分数模型 的额外输入。在优化 的过程中, 能够从 中提取信息,帮助从 去噪恢复 。实验表明, 通过调整权重函数 ,可以人为控制编码表示中的细节粒度 。当