专栏名称: 数字生命卡兹克
反复横跳于不同的AI领域,努力分享一些很酷的AI干货
目录
相关文章推荐
Linux就该这么学  ·  不止是操作系统!Linux ... ·  4 小时前  
Linux就该这么学  ·  开源装机工具 Ventoy 更新 ... ·  4 小时前  
Linux就该这么学  ·  官宣:这所高校禁用 DeepSeek ·  昨天  
Linux就该这么学  ·  Fedora即将登陆Win10/11 ... ·  2 天前  
Linux就该这么学  ·  网络工程师这样用,简直是要榨干 ... ·  3 天前  
51好读  ›  专栏  ›  数字生命卡兹克

Runway的这个新功能,想要彻底颠覆动捕行业。

数字生命卡兹克  · 公众号  ·  · 2024-10-28 09:30

主要观点总结

文章介绍了AI应用在动画领域的最新进展,特别是Runway发布的Act-One功能。该功能允许用户上传人物表演视频来驱动角色进行相同的面部表情,极大地提高了动画生产的效率和智能化水平。文章对比了传统动画、动作捕捉和AI驱动动画三种方式的工作量和效果,并详细描述了Runway的使用体验和注意事项。

关键观点总结

关键观点1: AI技术提高了动画生产效率

Runway的Act-One功能允许快速生成动画视频,只需上传图片和视频,1分半钟即可完成。

关键观点2: Act-One功能细节解析

介绍了上传视频和角色的要求,以及在使用过程中需要注意的事项,如保证面部特征明显、肩膀以上整个头部在画面区域中等。

关键观点3: 对比传统动画和动作捕捉

传统动画和动作捕捉的工作流程复杂且成本高,而AI驱动的动画生产更加高效和经济。

关键观点4: Act-One的实际应用案例

展示了几个使用Act-One制作的有趣案例,如导演Paul Trillo的小短片、Runway官方的案例等。

关键观点5: AI技术的潜力和影响

Act-One为创作者打开了一扇全新的大门,可以尽情发挥想象力,重新定义“可能”。


正文

前几天那个AI应用爆炸之夜,除了Claude、 Genmo、Ideogram 等等一群明星AI应用发布更新之外, Runway其实也发布了一个很酷的功能,只是被淹没在了信息的大爆炸里。
这个功能,叫 Act-One。
简单的说,就是你可以上传一段人物表演视频,来驱动一个角色跟你做一样的面部表情。
我直接放一段视频,你们就明白是什么效果了。
把AI视频的人物表演的可控性,直接提升了一大步。
在传统的没有AI的过去,如果你想做这种动画视频,那复杂度是不可想象的。
我给大家大概三种方式的工作量的对比。
第一种是传统动画中,动画师去手K角色的表演。 就是在模型上,人物一点点做,做200分钟左右的动画,其中人的部分,大概要7、8个动画师,徒手做半年。
第二种就是动捕。 大概录制时间是2~3天,把所有的表演存下来,然后再花大概一个月的时候做优化和细节清理,就可以得到一个很牛逼的效果。
而整套动捕的工作流和设备,也是相当的复杂。
比如《死亡搁浅》里面,拔叔饰演的 昂格尔,就全是动捕做的。
可以看到拔叔带着一整套面部动捕设备,脸上还有很多的黑点,这些黑点就是标记点,记录面部肌肉的运动,面前有摄像机阵列,大概就是通过捕捉标记点的运动和面部肌肉的变化,将这些表情信息转化成3D模型的数据,以驱动动画角色有更细腻的表演。
这里说个有趣的小东西,就是脸部的标记点其实也不一定是黑的,而是有反差就行,比如白人是黑点,黑人就是白点。。。
而且这套动捕设备很贵,动不动就是几十万美金,你信息采集完了还不能直接用,还得绑定、清理等等以后,才算Ok。
但是就这,也比传统的动画师手K要好多了。
而现在,有了AI之后呢?
以Runway这个 Act-One为例,你传一张图,一个视频上去。
1分半钟,一段视频就生成完了。
就是这么快。
周末,我也终于拿到了Act-One的权限,好好测试了一波。
可以进入Runway的首页:https://app.runwayml.com/
如果你被推送到了的话,你就能看到一个巨大的Banner,Act-One。
点Try进去,你就能看到Act-One的界面,非常的简洁易懂。
上面是你要上传的视频,下面是你要上传的角色,Runway为了给大家快速上手玩,也放了一堆默认的角色。
比如有一个很经典的视频,就是那个:“我信你个鬼,你这个糟老头子坏得很”。这个动态幅度还挺大的,我们来试试。
我们直接把这个视频,传到Runway里面去,再随便挑个角色。
直接开跑就行。
大概1分多钟,这一段视频就跑完了,看看效果。
天秀,过于稳定了。
还原除了神韵,脸部的肌肉表情也复刻的很到位,更是看不出来一丁点闪动现象,稳定的不像是AI的视频。
再来一个超级复杂的表情,之前我在B站上看到这个惊为天人。
她的脸会跳舞,这表情丰富度,这控制力,过于可怕了。。
我们把这个视频,让Runway的 Act-One再试试。
说实话,没有原来视频那种非人类的细节控制力,特别微表情和瞳孔的细节,是但是大部分的节奏和动态,都模仿到位了。在我看来,已经很棒了。
还有那个经典的老爷爷nice的魔性片段。
可以看到,当你的头部和表情幅度大的时候,表现是更好的。
Runway的 Act-One,还是太强了。
其实表情迁移,Runway不是第一个做的。前有Viggle,后有快手的 LivePortrait。但是基本都有个共同点,就是画面不稳。
Viggle比较屌的点是可以迁移更多的头部和身体动作,但是会有一些闪烁,有些细节会比较糊。这个 桐生一马的 case应该会比较明显的能看出来跟Runway的差异。
Runway的Act-One只能迁移表情,不支持迁移动作,但是稳定是真的稳定,直接直接加入动画生产工作流中的那种稳定。
在测试过程中,我也遇到了无数次说检测不到人脸的情况,所以还是要适应他们的一些规矩。
比如上传的视频,必须保证面部特征明显,肩膀以上,整个头部都在画面区域中,没有手部运动,效果是最好的,也是能识别的。整体要在30秒以内。
举个例子,著名的《楚门的世界》里面最后那一幕经典的独白。
这个片段,Runway死活说识别不到人脸上传不上去,其实就是头部没有完全在画面里, 当我用AI视频扩展,把整个视频扩了1.5倍,把他画面外的头发给补出来后。
瞬间上传成功了。
上传的角色图片,可以是脸部特写,可以是半身,可以稍微侧一点脸,但是眼睛必须注视着摄像机的角度。
也同样的,必须包含整个头在里面,要不然会识别不到人脸,这个就很烦。
其他的就没啥注意事项了,Act-One的风格泛化很好,真人、3D、2D等等角色我测试下来驱动效果都很不错。
整体上,我确实觉得,Act-One对于动画行业来说,是革命性的。
成本极低,效果极佳,能匹配高质量项目的质量,这就足够让人心动了。






请到「今天看啥」查看全文