专栏名称: 数字生命卡兹克
反复横跳于不同的AI领域,努力分享一些很酷的AI干货
目录
相关文章推荐
色影无忌  ·  SLR Magic 50mm ... ·  昨天  
胶卷迷俱乐部  ·  聊聊专业撕拉片相机(和富士宽幅改造) ·  昨天  
狼族摄影  ·  春天拍花的第一站,川西的梨花最惊艳 ·  昨天  
狼族摄影  ·  春天拍花的第一站,川西的梨花最惊艳 ·  昨天  
色影无忌  ·  摄影启示录 |生命力是重点 ·  4 天前  
51好读  ›  专栏  ›  数字生命卡兹克

腾讯悄悄开源混元版「Sora」,这就是开源领域的No.1。

数字生命卡兹克  · 公众号  ·  · 2024-12-03 15:05

主要观点总结

文章介绍了腾讯混元发布的AI视频生成模型,包括其真实质感、语义理解和可切换镜头的特点。文章还提到了该模型的开源情况、用户反馈以及腾讯在AI领域的市场定位和竞争优势。

关键观点总结

关键观点1: 腾讯混元AI视频生成模型的三大特点

包括真实质感惊艳、语义理解能力强和可切换镜头等功能。其中,真实质感被描述为超强,甚至能达到电视剧级别的质感;语义理解也极强,能准确还原一些复杂的场景和动作;同时还可以自主控制切换镜头,增加画面张力。

关键观点2: 腾讯混元AI视频生成模型的开源情况

模型已经开源,并且现场宣布直接开源。普通用户也可以通过腾讯元宝APP体验这个AI视频模型。

关键观点3: 腾讯在AI领域的市场定位和竞争优势

腾讯对于自己的市场定位和核心竞争优势有着明确的认知,通过不断发布各种大模型,如文本大模型、AI绘图大模型、3D生成大模型以及AI视频大模型等,巩固并扩大了其在AI领域的影响力。开源策略也有助于其在竞争中占据优势。


正文

今天,人又在腾讯混元发布会的现场。
上个月5号,他们宣布开源大语言模型混元Large和3D大模型 Hunyuan3D-1.0。
仅仅一个月时间,他们又从深圳奔赴北京,邀请了一些老朋友,又开了一次私密的闭门会。
而这一次的项目,就是被N多人期待了很久的, 腾讯混元视频生成模型。
同样,现场宣布,直接,开源。
腾讯也活成了,马斯克心中,那个OpenAI的模样。
聊聊这个腾讯混元的AI视频模型,我已经先行测试了一周,跑了几百个case。
先说结论: 偏科战神,强的部分强到没边,弱的地方也急需优化,但是瑕不掩瑜,综合来看,闭源模型中排在T1附近,开源AI视频中,无可争议的T0。
开源地址: https://github.com/Tencent/HunyuanVideo

普通用户也可以去 腾讯元宝APP,进入AI应用,就能看到这个AI视频了。

可能普通用户需要资格申请,但是以腾讯的速度,应该非常快,看了群友的反馈,有的申请了不到一会就拿到了体验资格。
我先放几个我跑的Case,再来细说。
很有意思,很特别的模型。
如果让我来总结混元的3个特点,那就是:
超强的真实质感,很强的语义理解,可以切换镜头。
一个一个来说。

一. 超强的真实质感
说实话,混元的真实感,是非常惊艳到我的。
有点当年Flux出来的时候,那种既视感。
那种光影,那种质感,那种色彩,就是会让你感觉,这是现实场景,就是很真。
而且,几乎没有任何的AI视频中的柳絮抖动的那种质感,稳的一笔。
比如: 两个女人面对面哭泣
你就感觉,像在看电视剧。
下属跟老板打架也是。
这光影和稳定性,实在是强到有点飞起了。
除了现代的戏,古装也是真实到不可思议。
比如: 长焦特写,一位紫衣宫女在月下绣花。银光洒在锦缎上,针线穿梭。后景是雕花窗棂,氛围静谧优雅。
我愿称之为,最具有“电视剧质感”的AI视频大模型。
第一次,能看到,做中国古装,服化道和真实质感,好到如此程度的。
不只是国人,外国人的真实质感,也极强。
像拍的,不像生成的,实话。
但是,但是来了。
混元AI视频的写实质感,可以拉满,我可以说,就是现在的No.1。
但是,我开头说它个超级偏科战神,就是因为,它如果不做超写实,做一些偏幻想的风格,或者2D、3D之类的,那个审美,真的有点丑= =
这就仿佛一个学生跟你说,他语文吊炸天,150分考了149分,然后你问他英语多少,他支支吾吾的跟你说:不告诉你。。。
另外有一点,是需要狠狠夸混元的。
就是跑过AI视频的人都知道,一旦人物的脸,在画面上占比一小,很多都会糊脸,五官是一坨,看不清。
但是我用混元跑的几百个case里,有不少是脸很小的,但是几乎都非常准确,甚至还是动嘴型说话。可以看下面这个例子。
开门的那个女人,脸没糊,那么小的面积,你都能看到她的神情,看到他的嘴形,这个点,太牛逼了。

二.很强的语义理解
混元的语义理解,是我觉得在所有的AI视频大模型里,都能排到前列的。
看这个Prompt:
一只银渐层在游乐园里奔跑,跳到一个小女孩的怀里。
看着简单,但是其实蛮多坑。
银渐层、游乐园、奔跑、跳、小女孩、怀里。
这些个关键词,其实都不好理解,更别提跑着跑着跳到小女孩怀里这种操作了。
首先要准确识别出银渐层这个特定品种的猫,还得理解它在游乐园这个复杂场景中的运动轨迹。
更难的是,模型需要精准捕捉从奔跑到跳跃的动作转换,还要准确把握跳入怀中这个互动场景的空间关系。
这个能完美还原,就挺牛逼的。
还有这个case:
45度俯拍,一位紫衣女修在竹林中抚琴,琴音化作七彩音符在空中飘荡。翠竹摇曳,月光如水。
虽然这个七彩音符加的吧,总会让我想起一些非常古早的渐变PPT,但是 咱们忽略审美的事,你会发现,混元都给你还原出来了,45度俯拍、紫衣、抚琴。
还有那句最重要的:琴音化作七彩音符在空中飘荡。
你如果用其他AI视频都把这个Prompt跑一遍,你就知道,能精准的出现七彩音符这事,有多难了。
还有一个我超级喜欢的case:
星系边缘,宇宙战舰引爆反物质引擎。能量涟漪以光速扩散,撕裂周围星体。
这个镜头,是我幻想过,在科幻片里看到的一幕。
而现在,是由AI,给我精准的还原出来了。
就是我心中的,奇点爆炸。
当然,在我测的几百个case中,并不是说,什么语义他都能理解。
翻车的也有很多,但是整体成功率,还是相比于其他我用过的,高出不少。但是带来的负面也很明显,有的视频,那个审美真的挺差。
语义理解和审美之间,其实一直需要找一个平衡点,语义理解强,就代表着可控性很强,也代表着用户对AI的干涉非常强,一旦用户自己随心所欲的去创作,也可能会让出来的美感,没有保障。
典型的就是Midjourney,它的语义理解,我觉得到现在为止,都可以说是一坨屎,包括可控性也是一坨,ControlNet说了一年了,到现在也没加。
而他们给出的理由,就是如果让用户对AI的生成干涉过多,就会影响审美,让出来的东西变丑,作为一家有审美洁癖的公司,这个是他们不可接受的。
所以就一直拖一直拖。
混元的AI视频,走到了Midjourney的反面,给用户的自由度很高,但是这时候就又吃用户自己对于画面的理解了,换句话说,就是:






请到「今天看啥」查看全文