【新智元导读】
这几天,最新发布的Stable Diffusion 3和Luma AI的视频生成模型Dream Machine相继发布,但这两个模型却用非常独特的方式震撼到了网友们。Dream Machine加上二创脑洞成为快乐源泉,SD3输出的诡异图片却散发着浓浓的「黑色幽默」。
昨天诞生的
AI视频新霸主——Luma AI的Dream Machine
,再次在整个互联网掀起高潮。
网友们昨天还集体表示,要舍弃Pika和Runway了,Dream Machine最好!
借着每个月免费生成三十次的羊毛,大家纷纷试用。但是,其中有不少翻!车!了!
AI圈大佬奥特曼、老黄和Greg正一团和气地合影,下一秒Greg就突然变脸,一拳揍在奥特曼胸前。随后三人陷入缠斗模式,现场乱成一团。
以及下面这个OpenAI曾经一团和气的大合影——
经过Luma模型的妙手之后,又变成了大乱斗场面。
但其实Dream Machine并不是一个有「暴力倾向」的模型,它很少生成打架场面。
比如下面这个,通过奥斯卡颁奖礼的合照生成出的视频,气氛依旧温馨。
看来OpenAI的「宫斗」太明显,连模型都知道了照片背后的故事。(不会是Sora给Dream Machine传了八卦吧)
网友实测让Luma生成动画,发现画面极其诡异——
白色的狗头迅速出现在身体的各部位,随后白狗有丝分裂出第二只白狗,最后白狗直接和棕狗实现了换头。
果然,四年寒窗无人问,一朝翻车天下知。
而且,有推特网友发现,Luma非常倾向于让图片中的人物转身离开,比如下面这张威利·旺卡。
把各种头像图片输入进去,得到也是类似的结果。
这虽然无伤大雅,但是这种单调且「我行我素」的生成结果有些令人恼火,好像是模型怕自己搞出「变脸」,所以干脆让人物转头了。
虽然翻车案例很多,但是创意无限的网友们还是发掘出Dream Machine一个非常有前途的应用——生成表情包动图。
比如这张非常著名的模因图片,经常被用于p成各种表情包:
把图片输入给Luma的模型,它会「脑补」出什么画面?
是正牌女友生气吵架?
还是干脆分手另觅新欢?
看出来Dream Machine的drama特质了,脑补出来的都是大型人性修罗场。
甚至,这个表情包还舞到了Andrej Karpaty大佬面前,他也表示自己受到了一些AI技术的震撼。
Luma AI将图像扩展为视频的新模型确实是另一回事。我凭直觉知道这很快就会成为可能,但看到它并思考未来的迭代仍然是另一回事。
再输入一只表情倔强的柴犬照片,就得到了一张完美的动图。
但下面这个生成结果相对平淡,人物转头后,脸上的表情也消失了。
根据著名的「地铁老人看手机」生成动图后,痛苦的感觉似乎加剧了。
把图片生成模型和Luma放在一起用,还会碰撞出意想不到的效果。
有人突发奇想,用Midjourney生成一张教皇穿羽绒服的图片,再让他走几步,突然可爱了起来。
搭配Stable Diffusiion 3生成的诡异人体图片,输出的动图简直是「恐怖」效果加倍。
Luma不仅没有把畸形的人体纠正过来,而且将错就错。拉近镜头后,人物原本正常的表情都变得令人发指了。
发出这些视频的帖子中,博主还很礼貌地附上了一句「I'm sorry…」,评论表示,看完就后悔了。
说到刚放出的Stable Diffusion 3的「翻车」图片,这也是网友们最近的快乐源泉。
「我很久没这么开心过了。」
Stability AI表示,这是他们「迄今为止最复杂的图像生成模型」,却引来了全网群嘲。生成的一堆「畸形」图片反而让人认为它大幅退步,落后于Midjourney和DALL-E。
图片的「畸形」程度有多严重呢?
是看了可以做噩梦的地步。
比如,生成出的手指不仅数量不对,形状也十分离奇,根本不像人类的手指。
这张图让人突然想到《瞬息全宇宙》的「香肠手指」设定。
如果仅仅是手指也还说得过去,毕竟这一直是图像生成模型的「顽疾」。
然而,SD3已经到了连人类四肢、躯干都不能好好生成的地步了。
下面这张草地上的人体图片,几乎已经成为SD3翻车的标志性象征了,全身上下没有一个地方是合理的。
在沙滩上的这两张,乍一看外形还不错,细看才能发现有许多恐怖之处。
更匪夷所思的还在下面——
在Reddit的帖子上,网友甚至发出嘲笑般的质疑「这应该是个笑话吧?」
「一段时间前,StableDiffusion 还在与 Midjourney 竞争,现在它看起来就像一个笑话。至少我们的数据集是安全和道德的!」
即使与Stability之前发布的模型相比,也能看出SD3的显著退步。
有网友用相同的prompt输入给SD 1.5、SDXL Turbo和SD 3,并比较了这三个模型的输出结果。
最早的SD 1.5即使没办法做到百分百正确、逼真,至少不会错误到离谱和「恐怖」的程度。