Sora再次给全世界带来亿点点震撼！首批导演、艺术家们与Sora合作的视频短片出炉了。谈及初印象，他们盛赞Sora能把不可能的想法带入现实，最惊艳的是还可以创造完全超现实的内容。
>>
加入极市CV技术交流群，走在计算机视觉的最前沿
Sora给好莱坞的震撼，就在刚刚变成了现实！
几天前，「OpenAI正在向好莱坞推销Sora」的消息才刚刚传出。
而今天一早，首批拿到Sora授权的导演、艺术家们，就已经公开自己创作的最新短片了。堪称神速！
OpenAI为之配文——Sora初印象。
Hollywood，果然一夜之间变Sorawood。
OpenAI联创Greg转发了最经典的一个励志小短片——气球人。
有网友称，「Sora会把每个人都变成Steven Spielberg，它将永远颠覆好莱坞」！
还有人表示，「我的初步收获是：（人类）创意方向是关键，而Sora的魔力在于将超现实带入生活。我们是否正在进入下一个新达达主义时代」？
Sora最新短片，究竟有多震撼？
我们来一一感受下。
第一部是关于「气球人」的励志故事短片。
仅用1分21秒向人们传递了满满的正能量——「每个人都有那么一点儿独特之处，让他们与众不同」。
镜头场景由小拉大，一位男子慢慢走向自行车，骑着车走在路上，直到视频20秒的时，才看到男子的完整形象——「气球人」。
接下来视频中，讲述了气球人生活面对的一些挑战。
比如，「有一次，女朋友非让他去仙人掌店，给叔叔Jerry挑一份结婚礼物」。
正是「气球人」的身份，让他拥有了看世界不同视角的机会。
视频后半部分，是气球升空后，随风飘到世界各个地方去看、去听、去感受。
整个短片看下来，完全是一碗鸡汤，告诉我们「异」是上天赋予每个人的礼物，要积极面对生活。
，时长
01:21
值得一提的是，背后创作者来自一家多媒体制作公司（总部设在多伦多）的三人团队：Walter Woodman、Sidney Leeder和Patrick Cederberg。
他们分享道，「我们现在有能力扩展我们曾经认为不可能实现的故事」。
导演Walter表示，「尽管Sora在生成看似真实的事物方面表现出色，但真正让我们兴奋的是它创造完全超现实事物的能力。这是抽象表现主义的新时代」。
「来自世界各地的人们，有故事急于倾诉的人们，终于有机会向世界展示他们的内心世界了」。
下面是由导演Paul Trillo生成的短片。他也曾是Runway Gen-2放出之后，首批用户。
整体采用了快镜头的方式，以金属人的视角探索世界。
从海底，到现实世界商店、图书馆、金字塔、悬崖，再到接近混沌的世界，还配上了动感的音乐。
，时长
01:26
Paul Trillo是一位才华横溢的多领域艺术家、作家及导演，他的作品曾受到《滚石》和《纽约客》等知名媒体的高度评价。
他已经荣获19次「Vimeo Staff Picks」奖项，这是对Vimeo平台上最优秀短片的一种认可。
Paul表示，「与Sora合作，我第一次感觉到作为电影人的自我释放。不再受时间、资金或他人许可的限制，我能够自由地探索和尝试，以大胆和创新的方式进行创作」。
他的实验性视频作品，正体现了这种创作理念。
只有你不再简单复制旧的东西，而是创造新颖且不可能的想法时，Sora的能力才能得到最大发挥，让我们有机会见证那些原本无法实现的创意。
就在刚刚，Paul又放出了自己与Sora合作的最新短片——「金色唱片」，也算是接上一个短片的续作。
这个纪录片描述了，从地球的原材料到人类地球生活的时间胶囊。
Paul表示，制作过程是是把Sora生成的11个不同片段剪辑在一起。
，时长
01:13
网友评论道，「关于控制/保留率，你有什么可以分享的吗」？
Paul表示，「现在还不能说太多，但我可以说，它的功能与众不同，我尽了最大努力去打破它的美学风格」。
再来看看，这个堪称史诗级「动物纪录预告片」。
各种你没有见过的异种生物，Sora仅凭想象，都造出来了。
猫有着鱼一样的尾巴、长颈鹿有着鹤一样的下半身、鲨鱼突然多出了与章鱼一样的触角、蜜蜂有着马头。
还有二师兄也变成了「飞猪」。
视频中，简要介绍了从第一集，到第八集，分别将要深入带你了解的异种动物。
，时长
01:30
背后的创作者Don Allen III是一位跨领域的艺术家、演说家和顾问，曾在梦工厂动画（DreamWorks Animation）开启了他的职业路程。
他曾与众多科技和娱乐巨头合作，探索混合现实、虚拟现实和AI的应用领域。
「我一直在创造增强现实中的异种生物，这些在我脑海中构思的有趣组合，现在可以更轻松地原型化，然后再将这些3D角色完整地构建并置于空间计算机中」。
Don提到，Sora非同寻常是其最大的优势，它不受常规物理规律或传统思维方式的限制。
他表示，通过与Sora的合作，他的创作重心从「技术难题转向了纯粹的创意……开启了即时可视化和快速原型设计的新世界」。
同时，Don也表示，「这让我能够更专注地投入时间和精力在更重要的地方……以及我期望我的角色所传达的情感深度」。
大海中3位「美人鱼」的短片，简直让人惊吓下巴。
他们身上透明，斑斓的鳞片，在太阳照射下，给人一种如梦如幻般的感觉。
，时长
00:15
Josephine Miller是伦敦Oraar Studio的联合创始人及创意总监。该工作室专注于3D视觉、增强现实和数字时尚的设计。
「Sora让我能够实现多年来一直梦想，但技术上无法实现的创意」。
「这种快速将想法以高品质进行创意概念化的能力，不仅对我的创作过程构成了挑战，也促使我在讲故事的艺术上不断改进。Sora让我能够在更少的技术限制下，将想象力转化为现实」。
艺术家Alexander Reben在过去十年，深入到了一项独特的探索中：通过AI挖掘人性中的幽默与荒谬。
他还手动将AI生成的图像转换成三维模型，并将这些模型具象化于现实世界中，创造出一系列雕塑作品。
而下面的视频中，通过与Sora的合作，Alexander实现了各种3D立体雕塑的艺术生成。
，时长
00:20
他表示，「我尝试使用Sora作为开拓3D雕塑的新起点。我开始对摄影测量学（一种通过照片测量物体的技术）及其在雕塑中的应用前景深感兴趣。特别是，将视频转化为3D模型的可能性激发了我的好奇心，这不仅仅是技术上的突破，更暗示着将AI的应用推向一个全新的维度」。
下面这则视频讲述的是人类与外星人的第三类接触。
开篇就是一个钻石在旋转。
随后出现的这个画面，概念与「旅行者」号寄给外星人的地球名片非常类似。
它是由身兼音乐家、研究员、创意活动家及多学科艺术家多重身份的August Kamp制作。
，时长
00:27
August解释道，「Sora对我来说是一个历史性的转折点。作为一个艺术家，我的视野一直受到想象力和实际条件之间矛盾的限制，得以如此直观地打造和改进电影级视觉效果，我感觉自己踏入了艺术的全新领域...我真的非常期待，随着这些工具的发展，将会出现哪些新的故事讲述方式」。
再来看看另一家创意机构Native Foreign制作的短片。
这个视频是由修钟人，上个世纪大城市街景，酒吧喝酒男子对女子一见钟情，海洋上浮起一辆汽车等多个元素组成的内容。
，时长
00:32
总部位于加州洛杉矶Native Foreign，是一家获得艾美奖提名的创意机构。
它因擅长品牌故事讲述、动效和标题的设计，以及先进的生成式AI工作流程而闻名。
联合创始人Nik Kleverov正利用Sora将「概念可视化」，并为品牌合作伙伴快速迭代创意。
他认为，创意的叙述不再受预算的严格限制。
「我是那种喜欢用动态思维来思考的创意工作者，因此在使用Sora时，我深感任何创意都能变成现实」。
虽然以上这些测试效果的确惊艳，但所要花费的成本，却是难以想象的高昂。
最近的一篇来自Factoral Funds的报道中，估算了Sora模型在训练和推理时的成本。
文章highlight中介绍：
- Sora训练需要大量的计算资源，预计需要4211——10528个H100 GPU运行一个月
- 推理成本：一个H100 GPU大约，每小时能生成5分钟的视频。
训练计算估算：从DiT到Sora的推算
根据OpenAI的报告，虽然可以获取Sora的详细信息有限，但可以基于DiT（Diffusion Transformers）论文的数据，将Sora看作是DiT在视频生成方面的扩展。
DiT-XL模型有675M参数，使用了大约1021 FLOPS的总计算量，相当于大约0.4 Nvidia H100运行一个月（或12天使用一台H100）。
- 计算乘数：
假设视频以24fps编码，1分钟的视频包含1440帧。考虑到Sora的空间和时间压缩，如果按DiT论文的8倍压缩率，就可以得到180帧在潜在空间中的表示。
因此，相较于DiT处理图像，处理视频的计算量至少增加了180倍。
- 模型大小和数据集：
估计Sora的模型参数数量远超675M。如果假设一个20B参数的模型，相对于DiT，计算需求增加了30倍。此外，Sora训练的数据集比DiT大很多倍，增加了数据集规模的乘数4-10倍。
综合考虑，因此得出Sora训练所需的计算量。
推理与训练计算
推理与训练计算比较：训练计算是一次性的大量计算，而推理计算虽然较小，但随着模型的广泛应用，会被频繁调用。
平衡点是指花费在推理上的计算量超过训练所需计算量的时刻。
基于DiT到Sora的推算，Sora每生成一段视频的计算成本约为708×10^15 FLOPS，相当于每个H100 GPU大约能每小时生成5分钟视频。
在生成15.3M到38.1M分钟视频后，推理计算将超过训练计算。
根据估算，YouTube每天上传的视频量约为43M分钟，Sora这个平衡点在实际应用中很快就会达到。
显然，不会用Sora的影视从业人员，是真的要out了。
