专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
目录
相关文章推荐
爱可可-爱生活  ·  //@爱可可-爱生活:欢迎参与~-20241 ... ·  昨天  
爱可可-爱生活  ·  晚安~ #晚安# -20241125225221 ·  昨天  
爱可可-爱生活  ·  #转发赠书#携手@图灵新知 @图灵文化 ... ·  4 天前  
爱可可-爱生活  ·  【Electrobun:新型跨平台桌面应用开 ... ·  4 天前  
黄建同学  ·  玩转AI游戏开发!#ai##科技# ... ·  5 天前  
51好读  ›  专栏  ›  新智元

AI视频两巨头开战!Runway秒生现实大片,Luma动嘴创作电影

新智元  · 公众号  · AI  · 2024-11-26 10:28

正文



  新智元报道  

编辑:编辑部 HYZ
【新智元导读】半小时内,两大巨头前后脚放出两大重磅更新,AI视频真是卷疯了!Runway放出生图模型Frames,一键让你拥有特定风格的世界。Luma则把文字、图像、视频全融合,只用自然交互就让脑海中画面成真。

几乎同一时间,AI视频再迎来两大重磅更新,这一领域果然是卷到冒烟了。
Runway刚放出图像生成基础模型Frames,让AI生图的质量又提升了一大截。
紧接着还不到半小时,另一巨头Luma也出手了!它仿佛早已蓄势待发,立即亮出了全新的DreamMachine。
这一幕堪比谷歌与OpenAI的精彩对决。
先看Runway的Frames,它不仅在风格控制和视觉真实度方面实现了重大突破,甚至还能在保持风格一致性的同时,支持广泛的创意探索。
借助Frames,任何人都可以为自己的项目确立独特的视觉风格、稳定生成符合审美的各种变体,最终精确地设计出所要创造的世界的外观、质感和氛围了。

目前,Runway正逐步在Gen-3 Alpha中开放Frames的访问权限
而Luma紧接着上线的这套交互流程,更是让业内人士直呼太牛了。
从此,文字、图像、视频都融合到了一个流程中,全部为你的创意服务。
再也不需要专业的提示工程,只用自然交互,DreamMachine就能让脑中所想的画面再现。
你脑海中的所有想法,可以立即变为现实,创意瞬间成真,而且已经上线可用。
眼看这边Runway和Luma都打到白热化了,每日一问OpenAI:Sora何时上线?

左:Runway CEO Cristobal Valenzuela  右:Luma AI CEO Amit Jain

Runway Frames:创造属于你自己的世界


下面,我们先来探索一波Frames可以创造的世界吧。

世界 1089

电影场景艺术 (Mise-en-scène)

通过经典电影的视觉语言重新诠释数字肖像,每幅图像都完美捕捉了标志性构图风格的精髓。主体在精心编排的光与影中徐徐展现。

左右滑动查看


世界 3190

1980 年代特效化妆
潜入80年代特效的世界,重现那个实践特效的黄金时代——当时的怪物是用乳胶和颜料而非数字像素打造的。

每件作品都向那个充满匠心独运的年代致敬,展现手工制作的怪物和特效的独特魅力。

左右滑动查看


世界 3204

1970年代专辑封面
夸张的动物与戏剧性的摄影,结合实验性字体和饱和度极高的色彩。

每幅设计都重新演绎了新音乐专辑的大胆风格,展现了那个凶猛生物与醒目肖像主宰黑胶唱片艺术的年代。

左右滑动查看


世界 4027

日本小刊物(Zine)
复古动漫美学与梦幻科幻在花朵和飞碟的奇幻色彩中交织。

呈现70年代漫画的独特韵味——粗犷的线条、浩瀚的宇宙背景,以及浪漫与超现实主义的绝妙融合。

左右滑动查看


世界 7621

数字影像风格
当代肖像艺术与对称性建筑和电影级色彩的完美结合。
每幅图都捕捉到了独特的电影艺术风格——中性色调、决定性瞬间,以及主体与空间浑然一体的精妙构图。——中性色调、决定性瞬间,以及主体与空间浑然一体的精妙构图。

左右滑动查看


世界 0981

动态范围风景
大自然完整的光谱在鲜明的细节中徐徐展开——从远峰的深邃阴影到矿物构造的璀璨纹理,从晶莹剔透的盐滩到气势磅礴的山脉。
丰富的色调和细节,完美地呈现出了地与天的交响。

左右滑动查看


世界 8421

一次性相机
老式闪光灯与真实瞬间的邂逅,展现颗粒感和漏光的独特魅力。典型的35毫米胶片风格——过曝的高光、跳跃的色彩,以及随手拍摄时所流露的真实活力。

左右滑动查看


世界 1009

静物
日常物品通过精心构图和自然光线展现出静谧的诗意。
每幅作品都将平凡转化为迷人之物——在缠绕的电线、破旧的笔记本,等熟悉的物件上流转的细腻光影里发现美。

左右滑动查看


世界 8862

杂志拼贴
复古剪报与波普艺术在超现实的新叙事中激情碰撞。每件作品都将撕裂的照片、醒目的字体和出人意料的并置组合在一起,创造出游走于幽默与不安之间的富有冲击力的构图。

左右滑动查看


世界 3107

运动中的物体
日常物品在醒目的单色背景下,展现出精心编排的有序混沌。
每幅构图都定格了一个受控的破坏瞬间,将简单的物体升华为富有动态与能量的雕塑。
左右滑动查看

Runway研究员Nicolas Neubert放出了更多关于Frames生成的图片,每一帧都是电影级质感。

左右滑动查看

Frames就像一个神奇的纽带,将所有创意工具无缝连接,完美串联起了Runway平台上的各种创作环节。

通过它,我们可以大胆展开想象,探索故事世界的雏形。

在意外闯入世界8479之后,或许你也会发出同样的感慨:自己的世界被彻底颠覆了!

左右滑动查看

Luma DreamMachine:想法即成现实


这边Luma放出的更新,也让人惊叹:AI视频的交互,居然已经丝滑到了这个程度?

与Runway追求的精确控制不同,全新进化的DreamMachine更强调的是创意的自然流畅。

无需复杂的提示工程,只要用最自然的方式与Dream Machine对话,便能轻松自如地探索、创作和修改作品。
当然,最为重要的是,它能够将你的一切想法变为现实。

比如,你说一句,「我可以把花放在生态玻璃中吗?」,DreamMachine就会立即变出多种多样的玻璃花园。

甚至,还可以让它长在沙园、悬挂式花盆、共生装置等任何地方,只有你想不到,没有它做不到。

我能让这片沙漠下雨吗?Dream Machine瞬间让雨降落。

这是基于Luma Photon模型所打造,被称之为当今最富创造力、最智能、最快速图像AI模型。

它能够以其他同类模型8倍的效率和速度生成高分辨率、高精细度、创意合成的图像。

左右滑动查看

左右滑动查看

不论是创意者、设计师,还是视觉创作者,它能帮助你创作震撼的视觉作品——无论是制作电影级视觉故事,还是革新产品创意。

另外,Dream Machine还支持图像自由参考,随心重组。通过导入专属图像、风格和角色,就能让创意完美呈现,分毫不差。
一只鸟和戴珍珠耳环少女的结合,完美复刻了原图的风格。
不仅如此,在Dream Machine中首次实现了角色一致性的开创性突破。
只需一张图片,即可通过角色参考功能创建专属角色,让其在图片和视频中栩栩如生。
通过运用强大的DM 1.6视频模型,再配上配合镜头动作和起止帧设置,能够让你精确编排每个镜头,打造完美视频。
若想延长视频时长,简单说声「循环」,即可创建循环效果。
灵感枯竭?也是不存在的。
令人惊艳的Brainstorm功能,将为你开启无限创意之门。它能够为你迸发出无限创意方向,为你点亮灵感之光。
在Luma的留言区,网友表示,自己已经测试Dream Machine好几天了,感受就是一个字——绝!
你可以混合任何元素,基于它构建自己的创作。
「每当我觉得Luma团队已经到头的时候,你们就会再次证明:我错了!」
手快的网友已经试用起来了。
参考资料:
https://runwayml.com/research/introducing-frames
https://lumalabs.ai/dream-machine