字节的 Seaweed APT 视频生成项目太牛了!
只需要一步就可以生成 2 秒钟的 1280x720 24fps 视频
而且也支持一步生成图片 #AI创造营# #ai视频#
从演示看,生成质量比现在很多 DiT 视频模型几十步要好非常多
这篇论文提出了对抗性后训练(APT)方法。具体来说,
对抗性训练: 该方法通过在真实数据上进行对抗性训练来提高生成质量。生成器和判别器交替进行优化,生成器试图生成能够欺骗判别器的样本,而判别器则试图区分真实样本和生成样本。
模型架构: 生成器和判别器都使用扩散变换器(DiT)架构,生成器通过确定性蒸馏进行初始化,以确保训练稳定性。判别器通过引入多层特征和时序集成来增强其学习能力。
正则化: 为了稳定大规模对抗性训练,引入了近似R1正则化损失,以防止训练崩溃。
项目地址: 网页链接
只需要一步就可以生成 2 秒钟的 1280x720 24fps 视频
而且也支持一步生成图片 #AI创造营# #ai视频#
从演示看,生成质量比现在很多 DiT 视频模型几十步要好非常多
这篇论文提出了对抗性后训练(APT)方法。具体来说,
对抗性训练: 该方法通过在真实数据上进行对抗性训练来提高生成质量。生成器和判别器交替进行优化,生成器试图生成能够欺骗判别器的样本,而判别器则试图区分真实样本和生成样本。
模型架构: 生成器和判别器都使用扩散变换器(DiT)架构,生成器通过确定性蒸馏进行初始化,以确保训练稳定性。判别器通过引入多层特征和时序集成来增强其学习能力。
正则化: 为了稳定大规模对抗性训练,引入了近似R1正则化损失,以防止训练崩溃。
项目地址: 网页链接