专栏名称: APPSO
让智能手机更好用的秘密。
目录
相关文章推荐
小众软件  ·  安娜的档案 - 悬赏令 ·  3 天前  
APPSO  ·  马斯克版 ChatGPT iOS ... ·  4 天前  
APPSO  ·  程序员出身的 AI ... ·  6 天前  
小众软件  ·  空气到底能不能传输文件?另外两件事[2518] ·  1 周前  
51好读  ›  专栏  ›  APPSO

告别抠图,Vidu 发布重大更新,一键实现主体迁移

APPSO  · 公众号  · app  · 2024-09-11 17:59

主要观点总结

文章介绍了北京电影节AIGC短片单元的最佳影片《一路向南》的制作过程,及其背后的技术支撑。该影片由导演陈刘芳和一名故事版艺术家和一名AIGC技术专家三人合作,利用一周时间完成。画面质量接近传统动画水准。文章还提到了生数科技Vidu的「主体参照」功能,该功能可以助力长篇叙事的创作,极大方便剪辑师进行视频制作,并且支持真人、动物等不同类型的形象,多种画风。为了解决视频制作过程中的一致性痛点,Vidu在技术上进行了很多努力,引入了「长连接」技术,优化自然语义理解,使用户与模型的沟通更自如简单。

关键观点总结

关键观点1: 《一路向南》的制作团队和画面质量

《一路向南》由导演陈刘芳和一名故事版艺术家和一名AIGC技术专家合作完成,画面质量接近传统动画水准。

关键观点2: 「主体参照」功能的特点和助力

「主体参照」功能通过锁定角色或物体的形象,提升故事情节的连贯性和人物一致性,减少前期图片生成的工作量,使人物运动和画面过渡更自然。

关键观点3: 「主体参照」功能的应用场景

该功能适用于剪辑师、商业拍摄、vlog制作等场景,支持真人、动物等不同类型的形象,多种画风。通过框选操作,明确主体部分不变,剩下的用prompt进行生成。

关键观点4: Vidu在技术上为解决一致性痛点所做的努力

Vidu引入「长连接」技术,优化自然语义理解,使用户与模型的沟通更自如简单。生数科技CEO唐家渝表示,重点是解决用户最关心的问题,也就是如何更方便地完成以前需要专业工具才能完成的任务。


正文

做一支能拿奖的动画短片,需要多少人?导演、美术、建模、渲染……少说也要 20 个人吧。
现在,只需要三个人,就可以实现。
北京电影节 AIGC 短片单元的最佳影片《一路向南》,就是导演陈刘芳,和一名故事版艺术家和一名 AIGC 技术专家,只花了一周时间来实现,画面质量接近传统动画的水准。

作为生数科技 Vidu 的合作艺术家,陈刘芳率先体验了 Vidu 的全新功能「主体参照」,现在,这一功能已经全面开放,免费使用!
「主体参照」功能通过锁定角色或物体的形象,不仅让故事情节更具连贯性,让人物的整体一致性显著提升,而且不再需要前期生成大量的图片,人物运动和画面过渡也更加自然,极大助力了长篇叙事的创作。
大大利好剪辑师:终于不用再辛辛苦苦地抠视频,连简单的补拍也有救了!
体验指路👉🏻:www.vidu.studio
视频抠图的苦,体会过的人都懂。
对于平常拍拍 vlog 的朋友们来说,则是常常碰到想要增加一两个场景,丰富效果,可是贴片总是非常不自然。
而对于商业拍摄就更复杂, 产品素材是不错,可是每一个布置、场景都要单独拍摄,想想就没有这个成本。
「主体参照」的功能简直就是救命杀器:支持真人、动物等不同类型的形象,多种画风,通过框选操作,明确主体部分不变,剩下的用 prompt 进行生成,就大功告成。
不仅可以让胖橘逛夜市。

让林黛玉滑滑板。

让蜜雪冰城的雪王喝星巴克。
还可以让肯德基爷爷吃麦当劳。

在这样可控性强的功能之前,创作者们需要一个冗长的流程来实现可控性,比如先生成分镜画面,再由图片转成视频,再剪辑完成。
即便如此,AI 绘图的一致性并不完美,往往需要通过反复修改和局部重绘来解决。更重要的是,实际的视频制作过程中涉及众多场景和镜头,这种方法在处理多组分镜头的场景时,生图的工作量巨大,能占到全流程的一半以上,且最终的视频内容也会因为过分依赖分镜头画面而缺乏创造性和灵活性。
为了解决一致性这个痛点,Vidu 下了很多功夫。在媒体会上,生数科技 CEO 唐家渝表示,「作为一个技术厂商,要更多地走向创作者,走向行业,走向应用。」
视频生成赛道竞争激烈,并且技术架构高度同质化。生数是全球首个提出 DiT 架构的厂商,这也是目前公认最好的架构。而如何把一项技术落地应用,则各家有各家的做法。
生数引入了一种「长连接」技术,加快模型的收敛速度,减少所需要的算力。还在自然语义理解上做了优化,让用户能够更自如简单地与模型沟通。
「我们的重点是解决用户最关心的问题,」唐家渝说,「也就是如何更方便地完成以前需要专业工具才能完成的任务。为了提高应用性,我们将从底层模型的更强生成能力出发。」