专栏名称: CG世界
CG世界是CG领域自媒体。专注3D动画、影视特效后期制作、AR/VR几个领域的知识,前沿技术,资讯和行业教程分享。
目录
相关文章推荐
先进能源科技战略情报研究中心  ·  人工智能推动能源变革的前景、风险分析及建议 ·  昨天  
中国能源报  ·  关于举办绿电、绿证、CCER交易培训的通知 ·  昨天  
中国能源报  ·  关于举办绿电、绿证、CCER交易培训的通知 ·  昨天  
南方能源观察  ·  《南方能源观察》电子刊上线!订阅方式戳→ ·  2 天前  
51好读  ›  专栏  ›  CG世界

开局一张图,剩下全靠AI“变”3D,可在线实时预览!

CG世界  · 公众号  ·  · 2024-12-05 10:26

正文

点击上方蓝字 CG世界 关注我们
再点右上角···设为 星标★


12月3日上午,斯坦福大学李飞飞教授领导的World Labs团队,官宣了他们振奋人心的一项突破:推出了一个可以从单张图片生成3D世界的AI系统。

这项技术可以将任何2D图片转换成一个3D的虚拟世界,我们将不再只是静态的查看图片,而是可以“走进”图片,并且在其中以3D的方式自由探索和互动。

除了输入图像外,所有内容都是由系统生成的

大多数的生成式AI工具,都会生成如图片/视频等2D内容。而World Labs的新技术则能够生更可控更具一致性的3D内容。

相机效果

Camera Effects

一旦3D场景生成后,会在浏览器中通过虚拟相机实时渲染。通过精确控制虚拟相机,可以实现各种艺术摄影效果。

模拟浅景深效果(背景虚化):

还可以模拟同时调整相机位置和视野的推拉变焦(Dolly Zoom)效果,即希区柯克变焦。

3D效果

3D Effects

大多数生成模型预测的都是像素,而预测3D场景则拥有更多的优势:
  • 持久现实: 一旦生成了一个世界,就会一直存在。即使用户离开场景再回来,场景依然保持原样,不会发生变化。

  • 实时控制: 生成3D场景后,用户可以实时地在其中移动。可以停下来仔细观察某个细节,如一朵花,或者绕到某个角落看后面有什么。

  • 正确的几何结构: 生成的3D世界遵循基本的3D物理规则,物体具有实体感和深度,避免像某些AI生成视频那样梦幻和不真实。

最简单的展示3D场景的方法是使用深度图,其中每个像素的颜色根据离相机的远近来决定:

生成的3D场景具有空间感和深度,可以利用3D结构来构建互动效果-点击场景就能够与场景内物体/元素进行互动。

不需要用户主动操作,场景会自动进行动画展示,场景中元素会按照预设的规则和路径自动运动。

走进画作

Step into Paintings

世界生成技术可以让用户以一种全新的方式体验那些知名艺术品。 World Labs团队选择了梵高、霍 、修拉和康定斯基等著名艺术家的经典画作,将这些名作转换成了可以互动的3D世界。

3D世界中,除了原画内容外,其他所有细节都是AI模型自动生成的:

创意工作流程

Creative Workflows

3D世界生成技术可以与其他AI工具结合使用,从而让创作者能够利用他们已经熟悉的工具来创造新体验。

可以先使用文本到图像的模型( 如DALL-E、Midjourney等 ),根据一段文字描述生成一张图像,进而生成3D世界,每个世界都会集成相应图像的独特风格。

团队使用FLUX、 Midjourney、Ideogram、DALL-E四个不同的模型,用相同的提示词来生成了同一个场景的不同变体。

并且,已经有一部分创作者提前体验过这项新技术了:

艺术家Eric Solorio使用 World Labs的模型填补了在创意工作流程中的空白,轻松调整了角色位置、准确控制摄像机的角度和移动,最终实现了理想效果。

另外一位常用AI进行创作的艺术家BrittaniNatali,结合了World Labs的技术与生成式AI工具,在生成的3D世界中精心设计了摄像机路径,以便在三部短片中唤起不同情绪。







请到「今天看啥」查看全文