Sora核心技术，都藏在这32篇论文里！(文末送书)

01: Scalable diffusion models with transformers

核心思想：提出了一种新的扩散模型架构，称为 DiT，该架构使用Transformer 替换了传统的 U-Net 主干。

作者: William Peebles 和 Saining Xie

02: Unsupervised Learning of Video Representations Using LSTMs

核心思想: 提出了一种使用长短期记忆 (LSTM) 网络进行视频无监督学习的方法。

作者: Nitish Srivastava, Elman Mansimov, Ruslan Salakhudinov

03: Recurrent Environment Simulators

核心思想: 提出了一种基于递归神经网络 (RNN) 的环境模拟器模型，该模型可以预测环境在未来几百个时间步内的状态。

作者: Silvia Chiappa, Sébastien Racaniere, Daan Wierstra, Shakir Mohamed

04: World Models

核心思想: 提出了一种使用生成对抗网络 (GAN) 训练世界模型的方法。

作者: David Ha and Jürgen Schmidhuber

05：Generating Videos with Scene Dynamics

核心思想: 提出了一种基于生成对抗网络 (GAN) 的视频生成模型，该模型可以生成具有场景动态的视频。

作者: Carl Vondrick, Hamed Pirsiavash, Antonio Torralba

扫码回复 “sora”

领取全部论文合集

06: MoCoGAN: Decomposing Motion and Content for Video Generation

核心思想:

1.提出了一种基于运动和内容分解的视频生成模型 MoCoGAN。

2.该模型可以生成具有逼真运动和内容的视频。

作者: Sergey Tulyakov, Ming-Yu Liu, Xiaodong Yang, Jan Kautz

07: Adversarial Video Generation on Complex Datasets

核心思想:

1.提出了一种基于生成对抗网络 (GAN) 的视频生成模型，该模型可以生成具有复杂场景和动作的视频。

2.该模型可以用于视频编辑、视频合成、视频游戏等领域。

作者: Aidan Clark, Yaser Sheikh, Dhruv Batra

08: Generating Long Videos of Dynamic Scenes

核心思想:

1.提出了一种能够生成长动态场景视频的生成模型，该模型可以捕捉对象运动、视角变化和新内容生成等要素。

2.该模型可以用于视频编辑、视频合成、虚拟现实等领域。

作者: Tim Brooks, Janne Hellsten, Miika Aittala, Ting-Chun Wang, Timo Aila, Jaakko Lehtinen, Ming-Yu Liu

09: VideoGPT: Video Generation using VQ-VAE and Transformers

核心思想:

1.提出了一种基于 VQ-VAE 和 Transformer 的视频生成模型 VideoGPT，该模型可以生成具有逼真视觉效果和流畅运动的视频。

2.该模型可以用于视频编辑、视频合成、虚拟现实等领域。

作者: Wilson Yan, Chenliang Xu, Xiaohua Zhai, Xiaogang Wang

10: Nüwa: Visual Synthesis Pre-training for Neural Visual World Creation

核心思想: 提出了一种通用的视觉合成预训练模型 Nüwa，该模型可以用于各种视觉生成任务，例如文本到图像、文本到视频、视频预测等 。

作者: Ruiqi Gao、Chenyang Lei、Ming-Yu Liu、Yaser Sheikh、Bo Zhang

因篇幅有限仅展示Sora视频生成模型重要技术基础的论文合集前十篇， 扫码回复 “sora” 获取全部论文合集。

掌握一门新技术，赶上新风口 ， 不仅仅是要吃透论文，更需要学习路上的指路人 ，这次我邀请了 顶会审稿人 Season老师 ， 在3月12日晚20:00带 大家速通Sora ！

直播大纲

1：Sora 的技术路线解读