金磊 发自 凹非寺
量子位 | 公众号 QbitAI
发布不到2天,那个号称“下一代”文生视频的
Dream Machine
(来自 Luma AI)
,大大大大翻车。
原本宣传中的效果是这样的:
效果之惊艳,令人直呼“忘掉 Sora”、“影视级水平”,并且 Luma 也是相当自信地表示
“在线免费可玩”
。
然而……当网友们纷纷前去尝鲜之后,得到的结果却是大跌眼镜。
例如给 Dream Machine “投喂”一张 OpenAI 的一张合影:
结果它生成的视频是这样的:
是的,打起来了
,而且
人物的畸
变
也是相当离谱。
网友们也是忍俊不禁,调侃地说道:
我们终于知道去年 OpenAI 发生了什么。
再“投喂”一张奥特曼、老黄和 Brockman 的合影:
Dream Machine 这次给出的结果是:
没错……又打起来了。
(Dream Machine好像很暴力的样子)
虽说 Dream Machine 生成视频的效果和剧情有些离谱,但爱整活儿的网友们却是坐不住了,直接开辟了一个
新赛道
。
或许 Dream Machine 这种“不走寻常路”的风格,跟表情包的气质很搭,现在网友们更乐于让 AI “续写”表情包:
Luma 的 Dream Machine 可以当成 Meme Machine 了。
例如这张非常经典的表情包,在 Dream Machine 的加持下,后续的故事就谱写出来了:
然而还有更 drama 的版本——顺手牵羊:
男主角还从一名白人直接变成了三哥……
我们经常用到的“狗头”表情包,也在 Dream Machine 之下活了起来:
还有“淡定姐”和“励志哥”:
不难看出,Dream Machine 被网友们吐槽翻车的最大问题,就是在于无法保证视频内容的连续性。
尤其是在生成人物方面,前后帧直接变人种、变性别的概率比较高。
使用 Luma 最好的方法,就是先用 Midjourney 这样的工具生成关键图片,然后再用 Luma 对其处理。
然而,说到 AI 翻车,Luma 的 Dream Machine 并不是个例。
前两天 Stable Diffusion 3 开源的消息也是让不少的网友们兴奋了一把。
但在亲自体验过后,很多人却直呼离了大谱。
例如生成一个躺在草地上的女孩,结果“打开方式”是这样的:
而且不是个例,只要是和人
(整体)
相关的内容,生成结果都有点掉 san。
虽然在生成其它方面 SD3 的效果还是能让人满意,但它和 Dream Machine 一样,总是处理不好人类。
有人发现,如果细看“躺在草坪上的女孩”这张图像,会发现它在局部细节上确实还可以,甚至很棒。
草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。
但人物整体就不敢恭维了。
不少网友都认为,这就是问题的关键。
我认为他们的 NSFW 过滤器,把所有人类图像都判定为了 NSFW。
这个过滤器全称是
filtering out adult content
,作用在于过滤掉不合规的成人内容。
SD2 发布时就出现过类似的问题,研究人员发现审查这部分内容可能影响了模型对人体结构的理解。
后面的 SD2.1 和 SDXL 版本在这一问题上有所缓解。
这次 SD3 的翻车,暴露了一个问题:过于严格的数据审核,可能
误删了一些无害的成人图像
,所以现在模型没法理解人体结构。
总而言之,无论是 Dream Machine 还是 SD3 等,AIGC 应用工具还需要不断加强和完善。
不过若是对整活表情包感兴趣的小伙伴,现在就可以去试试了:
https://lumalabs.ai/dream-machine
参考链接:
[1]https://x.com/lumalabsai/status/1800921380034379951?s=46&t=6eepxw1G6XRQ7VO0ANjJWg
[2]https://twitter.com/minchoi/status/1801338536597274999
[3]https://x.com/emollick/status/1801474104182390803