新智元报道，谷歌在AI视频和图像生成领域取得新进展，发布了Veo 2视频生成模型、Imagen 3图像生成模型和新的创意工具Whisk。这些工具能够生成逼真的视频和图像，具有高度的真实感和细节表现能力。谷歌的这次发布为内容创作者开启了全新的可能性。
谷歌发布了Veo 2视频生成模型，能够生成高分辨率、逼真的视频，理解现实世界物理和运动的细微差别，以及电影摄影语言。同时，Imagen 3图像生成模型也迎来了升级，能够生成更加明亮、构图更精准的图像。此外，谷歌还推出了一个新的创意工具Whisk，只需通过上传图片，就能定义主体、场景和风格，并重新混合创造出独特的作品。
Veo 2模型具有增强的真实感和保真度，领先的运动能力，以及更强大的相机控制选项。它能理解现实世界物理规律、人类动作和表情，以精确的方式生成运动画面。此外，Veo 2还能执行详细的指令，遵循详细指令的能力，在物理模拟过程中展现出令人惊叹的生成质量。
Imagen 3模型在图像生成方面取得了显著进展，能够生成具有照片级写实到印象派绘画等各种艺术风格的图像。它能够精准执行用户的提示词指令，呈现出更为细腻的细节和更丰富的纹理效果。与其他顶级AI生图模型相比，Imagen 3在细节和风格表现上都取得了最优的结果。
Whisk是一个全新的生成式AI实验性项目，它改变了以往需要冗长、详细的文字提示来生成图像的方式。现在只需通过上传图片，就能定义主体、场景和风格，并重新混合创造出独特的作品。Whisk提供了一种崭新的创意工具，让人创造性地探索各种想法，并保留自己最满意的作品。
【新智元导读】OpenAI的Sora翻车后，迎来谷歌的暴击：昨天深夜，Veo 2、Imagen 3、Whisk一套组合拳打来，AI视频和生图根据，再次被谷歌改变了。
全新发布的Veo 2，实测效果已经被许多人公认「超越Sora」。作为谷歌最先进的视频生成模型，Veo 2更好地理解现实世界物理和运动的细微差别，理解电影摄影语言的能力（如镜头类型和效果），分辨率高达4K。同时放出的，还有Imagen 3图像生成模型，和用图像而非文本作为prompt的工具Whisk。无论是在LLM上，还是在视觉创作上，谷歌正在缩小和OpenAI的差距。举个栗子，我们用相同的提示「A pair of hands skillfully slicing a ripe tomato on a wooden cutting board」生成一个切西红柿的视频。在Veo 2中，西红柿不仅会随着刀子的前后移动而移动，并且其横断面清晰可见。切片虽略显厚实，但前后始终保持一致，而且还能正确地叠放起来。相比之下，Sora不仅照着手指疯狂下刀，而且切了半天的西红柿依然「完好无损」……
难怪有网友说，在理解物理世界和一致性上，Veo 2已经到了next level。高达4K的分辨率，大大提升的细节和真实感，人体动作和表情的改善，以及更好的物理建模和时间一致性，都让Veo 2达到了顶级AI视频模型的级别。
在Meta的Movie Gen Bench上，Veo已经可以和Kling、Minimax、Sora掰手腕了
想象一下，只用简单文字描述，就能生成高达4K、超长分钟的精美视频。它可以遵循简单和复杂的指令，并在物理模拟过程中，展现出令人惊叹的生成质量。
镜头如清风般轻柔地穿梭在粉彩色的木制蜂箱之间，勤劳的蜜蜂翩翩起舞，时隐时现于画框之中。画面缓缓停驻在场景中央那位气质优雅的养蜂人身上，他身着的洁白养蜂服在金色的午后阳光中熠熠生辉。他轻抬着一罐琥珀色的蜂蜜，略微倾斜着让阳光透过蜜液折射出温暖的光晕。在他身后，一片高大的向日葵随着微风轻轻摇曳，金黄的花瓣在温暖的阳光照耀下绽放出柔和的光芒。镜头徐徐上移，展现出一座典雅的乡村老宅，薄荷绿色的百叶窗点缀其间，摇曳的树影在墙面上织就出斑驳的光影图案。这组照片采用35毫米镜头搭配柯达Portra 400胶片摄制，浸润在金色光线中的每一个细节——养蜂人的手套、晶莹的蜂蜜罐、饱经岁月的蜂箱木纹，都呈现出丰富而细腻的质感层次
现在，Veo 2可以像电影摄影师一样和我们交流。不必再费力和它讨论技术参数、猜测Gemini的标题，只要用习惯的术语说出想要的内容即可。
另外，我们还可以进行更精确的相机控制，比如下图就是一个包含第一人称视角、转移焦点的提示。可以看到，车内的皮革内饰、车速表等高频细节，给人留下极其深刻的印象。通过人类评估，Veo 2模型在与几大顶尖视频模型的对比中，脱颖而出。它不仅仅是简单地生成视频，更是对现实世界物理规律、人类动作，表情方面得到了极致的理解。相较于其他的AI视频模型，Veo 2在细节、真实感、伪影减少方面得到了显著的改进。Veo 2能以精确的方式生成运动画面，这主要归功于它对物理学的理解、和遵循详细指令的能力。它能精确理解指令，创建各种拍摄风格、角度、运动效果，以及这些元素的组合。对于创作者而言，Veo 2就像是一个无所不能的AI导演。你可以指定电影类型、镜头风格，甚至是特定的电影技巧，它皆可完美呈现。
富有电影感的镜头捕捉了一位身着暗黄色生化防护服的女医生，实验室惨白的荧光灯将她的身影笼罩其中。镜头缓缓推进她的面部特写，细腻的横向推移突显出她眉宇间深深刻画的忧思与焦虑。她专注地俯身于实验台前，目不转睛地透过显微镜观察，手套包裹的双手正谨慎地微调着焦距。整个场景笼罩在压抑的色调之中，防护服呈现出令人不安的黄色，与实验室冰冷的不锈钢器械相互映衬，无声地诉说着事态的严峻和未知的威胁。景深精确控制下，镜头对准她眼中流露的恐惧，完美传达出她肩负的重大压力与责任
晨光徐徐升起，为这幅精心布置的早餐图景镀上一层温暖的金边。金黄色的枫糖浆如丝绸般缓缓流淌，轻柔地浇注在层层叠起的蓬松松饼上，每一片松饼都袅袅升起缕缕暖意盎然的水汽。特写镜头捕捉着金黄酥脆的培根，只见它滋滋作响，细小的油珠在阳光下化作金色光点翩翩起舞。醇香的咖啡优雅地旋转注入通透的玻璃杯中，逐渐在杯中漾开层层叠叠的焦糖色咖啡奶泡。最后，镜头如潜水般俯入一枚刚切开的鲜橙，以震撼的微距视角展现出饱满晶莹、汁水四溢的果肉纹理
只需在提示中输入「18mm lens」，Veo 2就得知创建拍摄广角镜头，或在提示中加入「浅景深」（shallow depth of field）它便可模糊背景，突出主体。不仅如此，Veo 2很少有「幻觉」，比如AI视频中多出的手指问题。沃顿商学院教授Ethan Mollick实测Sora时，结果发现水獭在飞机上使用WiFi的画面中，长出了人类的手，非常诡异。它在创建逼真、充满活力或复杂的视频，以及在复杂的运动场景中，难以保持一致性。下面这位冰上舞者的双腿，在复杂的前进运动中，出现了变形。在安全性方面，谷歌为Veo 2加入了隐形的SynthID水印，有助于一眼识别是AI生成的内容。目前，Veo 2已经登录VideoFX，预计明年它将进军YouTube Shorts等平台，为内容创作者开启全新的可能性。
今天，备受期待的Imagen 3同时迎来了重大升级。这次升级的提升，堪称革命性。首先是图像的整体质感，更加明亮，构图更为精准。宛如知名漫画师创作的橙发少女，像游戏设定一般宏大的幻想世界，难以分辨是AI还是照片的黑白人像（左右滑动查看）在艺术风格的表现上，从照片级写实到印象派绘画，从抽象艺术到动漫风格，Imagen 3都能实现更为准确的还原。其次，它能精准执行用户的提示词指令，呈现出更为细腻的细节和更丰富的纹理效果。在与其他顶级AI生图模型对决中，Imagen 3取得了最优的人工评估结果。Imagen 3生成的图像，在所有风格上都得到了提示，包括照片写实主义、印象主义、动画和抽象主义。
特写镜头下，工匠的双手在陶轮上塑造着一件泛着光泽的陶器。金色的光芒如丝如缕，连接着陶艺师的手与黏土，随着动作优雅流转。工作室内充满丰富的质感——布满工具的尘旧架子、散落的陶土碎片，以及透过木制百叶窗洒落的自然光束。光线与能量的交织营造出一种空灵、近乎魔幻的氛围
下面这种冬日雪地中红松鼠的特写，仿佛高清大片，无论是松鼠的皮毛、空中的雪花，还是背景中松针的虚化，都体现出了细节的考究。
特写镜头捕捉了一个冬日仙境场景——柔软的雪花飘落在被雪覆盖的森林地面。在一根结霜的松枝后，一只红松鼠静静地坐着，它明亮的橘红色皮毛在白色背景中格外醒目。它捧着一颗榛子，享用美食时似乎完全忽视了周围飘落的雪花
在1940年代风格的欧洲火车站，一对恋人深夜在火车前相拥，整个场景让人想起众多电影中的离别场景。
1940年代的欧洲火车站笼罩在晨雾中，精致的铸铁拱门和蒙雾的玻璃窗勾勒出车站的轮廓。蒸汽从铁轨上袅袅升起，与浓雾交融。一对恋人在火车旁深情相拥，昏暗的琥珀色灯光将他们的身体勾勒成剪影。即将启程的火车若隐若现，红色的尾灯在雾中渐渐淡去。女子身着褪色的红色外套，紧握着一本小皮日记，男子则穿着饱经风霜的军装。空气中漂浮的尘埃在柔和的金色背光中闪烁。整个场景弥漫着忧伤而永恒的气息，令人联想起战时电影中那些刻骨铭心的离别场景
一幅亚洲女性的肖像，背景是幽绿的霓虹灯光，采用浅景深拍摄
超现实的场景，Imagen 3也能精准把握，比如下面这只草莓蜂鸟。整个图像呈现出高分辨率的专业摄影手法，景深控制让蜂鸟和花在虚化的背景中更显生动。
一张精妙的微距素材照片，展现了一颗精心雕刻成蜂鸟形状的草莓，栩栩如生地呈现出蜂鸟正在啜饮鲜艳管状花朵花蜜的瞬间，翅膀因快速振动而形成朦胧的动感。背景是一片生机盎然的彩色花园，经过柔化处理呈现出梦幻般的虚化效果。图像细节丰富，采用浅景深拍摄，使草莓蜂鸟保持锐利清晰的焦点，同时让背景自然柔和。高分辨率的专业摄影手法和柔和的打光让整个场景层次分明，专业的色彩分级更突显了画面的鲜艳色彩，创造出清晰度极高的视觉效果。精确的景深控制让蜂鸟和花朵在虚化的背景中更显生动突出
不仅如此，谷歌还推出了一个全新的尝试——生成式AI实验性项目Whisk。以往，我们都需要输入冗长、详细的文字提示来生成图像，Whisk彻底改变了这一形式，现在只用图像就可了。在Whisk中，我们可以通过上传图片，来定义主体、场景和风格，然后将它们重新混合，创造出自己独特的作品，比如数字玩偶、珐琅徽章、精美贴纸。下面，你会看到想象大开的梦幻鱼、粉色花环海象、糖粉甜甜圈和长角的奇幻生物猫。这是因为在系统底层，Gemini模型会自动为我们上传的图片生成详细的文本，随后文本会被输入到Imagen 3中处理。而这一过程，绝非简单地复制原图，而是重点提取主题的核心特征，由此才能让我们自由组合不同主题、场景和风格元素。当然，由于Whisk只会提取图像中的几个关键特征，因此生成图像也可能会和我们的预期不同。你可能也看出来了，Whisk并不像传统的图像编辑器，进行像素级的完美编辑，而是一种崭新的创意工具，让人创造性地探索天马行空的想法。就如谷歌所说，它的核心价值，是自由尝试各种可能性，在各种创意方式中进行极致的探索，保留下自己最满意的作品。https://blog.google/technology/google-labs/video-image-generation-update-december-2024/https://blog.google/technology/google-labs/whisk/
