关注“
FightingCV
”公众号
回复“
AI
”即可获得超100G人工智能的
教程
发布不到2天，那个号称“下一代”文生视频的
Dream Machine
（来自Luma AI）
，
大大大大翻车
。
原本宣传中的效果是这样的：
，时长
00:33
效果之惊艳，令人直呼“忘掉Sora”、“影视级水平”，并且Luma也是相当自信地表示
“在线免费可玩”
。
然而……当网友们纷纷前去尝鲜之后，得到的结果却是
大跌眼镜
。
例如给Dream Machine“投喂”一张OpenAI的一张合影：
结果它生成的视频是这样的：
，时长
00:05
是的，打起来了
，而且
人物的畸变
也是相当离谱。
网友们也是忍俊不禁，调侃地说道：
我们终于知道去年OpenAI发生了什么。
再“投喂”一张奥特曼、老黄和Brockman的合影：
Dream Machine这次给出的结果是：
，时长
00:11
没错……又打起来了。
（Dream Machine好像很暴力的样子）
虽说Dream Machine生成视频的效果和剧情有些离谱，但爱整活儿的网友们却是坐不住了，直接开辟了一个
新赛道
。
让表情包“活”起来
或许Dream Machine这种“不走寻常路”的风格，跟表情包的气质很搭，现在网友们更乐于让AI“续写”表情包：
AI让memes栩栩如生。
Luma的Dream Machine可以当成Meme Machine了。
例如这张非常经典的表情包，在Dream Machine的加持下，后续的故事就谱写出来了：
然而还有更drama的版本——顺手牵羊：
男主角还从一名白人直接变成了三哥……
我们经常用到的“狗头”表情包，也在Dream Machine之下活了起来：
还有“淡定姐”和“励志哥”：
不难看出，Dream Machine被网友们吐槽翻车的最大问题，就是在于无法保证视频内容的连续性。
尤其是在生成人物方面，前后帧直接变人种、变性别的概率比较高。
因此，也有网友建议：
使用Luma最好的方法，就是先用Midjourney这样的工具生成关键图片，然后再用Luma对其处理。
然而，说到AI翻车，Luma的Dream Machine并不是个例。
SD3开源也秒翻车
前两天Stable Diffusion 3开源的消息也是让不少的网友们兴奋了一把。
但在亲自体验过后，很多人却直呼离了大谱。
例如生成一个躺在草地上的女孩，结果“打开方式”是这样的：
而且不是个例，只要是和人
（整体）
相关的内容，生成结果都有点掉san。
虽然在生成其它方面SD3的效果还是能让人满意，但它和Dream Machine一样，总是处理不好人类。
有人发现，如果细看“躺在草坪上的女孩”这张图像，会发现它在局部细节上确实还可以，甚至很棒。
草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。
但人物整体就不敢恭维了。
不少网友都认为，这就是问题的关键。
我认为他们的
NSFW
过滤器，把所有人类图像都判定为了NSFW。
这个过滤器全称是
filtering out adult content
，作用在于过滤掉不合规的成人内容。
SD2发布时就出现过类似的问题，研究人员发现审查这部分内容可能影响了模型对人体结构的理解。
后面的SD2.1和SDXL版本在这一问题上有所缓解。
这次SD3的翻车，暴露了一个问题：过于严格的数据审核，可能
误删了一些无害的成人图像
，所以现在模型没法理解人体结构。
总而言之，无论是Dream Machine还是SD3等，AIGC应用工具还需要不断加强和完善。
不过若是对整活表情包感兴趣的小伙伴，现在就可以去试试了：
https://lumalabs.ai/dream-machine
参考链接：
[1]
https://x.com/lumalabsai/status/1800921380034379951?s=46&t=6eepxw1G6XRQ7VO0ANjJWg
[2]
https://twitter.com/minchoi/status/1801338536597274999
[3]
https://x.com/emollick/status/1801474104182390803
量子位
往期回顾
基础知识
【CV知识点汇总与解析】|损失函数篇
【CV知识点汇总与解析】|激活函数篇
【CV知识点汇总与解析】| optimizer和学习率篇
【CV知识点汇总与解析】| 正则化篇
【CV知识点汇总与解析】| 参数初始化篇
【CV知识点汇总与解析】| 卷积和池化篇 （超多图警告）
【CV知识点汇总与解析】| 技术发展篇 (超详细！！！)
最新论文解析
NeurIPS2022 Spotlight | TANGO：一种基于光照分解实现逼真稳健的文本驱动3D风格化
ECCV2022 Oral | 微软提出UNICORN，统一文本生成与边框预测任务
