专栏名称: Founder Park
来自极客公园,专注与科技创业者聊「真问题」。
目录
相关文章推荐
北京经信局  ·  华航唯实:实现机器人CAM领域国产替代 ·  昨天  
小李哥的交易系统  ·  国产AI产业链,越来越精彩! ·  昨天  
小李哥的交易系统  ·  国产AI产业链,越来越精彩! ·  昨天  
云头版  ·  全球排名第1企业引入DeepSeek! ·  3 天前  
云头版  ·  全球排名第1企业引入DeepSeek! ·  3 天前  
51好读  ›  专栏  ›  Founder Park

全球Top20 AI生成视频产品梳理及落地场景盘点

Founder Park  · 公众号  · 科技自媒体  · 2024-08-19 22:17

主要观点总结

这篇文章主要介绍了全球范围内与AI视频生成技术相关的产品及其发展情况。文章按照产品特性和功能进行了分类,并详细描述了每个产品的特点和功能。文章指出这些产品使用了AI技术,包括Diffusion和Transformer等技术。文章还提到了产品的访问量、使用方法和演示视频等。最后,文章对一些产品进行了评价,并提到了未来可能的趋势和发展方向。

关键观点总结

关键观点1: 文章介绍了多个与AI视频生成技术相关的产品

包括Luma AI、Viggle、VEED.IO、InVideo等,这些产品使用AI技术生成视频,涉及不同的功能和特点。

关键观点2: 文章按照产品特性和功能进行了分类

包括工具属性产品、数字人视频编辑工具、视频编辑工具等。

关键观点3: 文章提到了产品的访问量和使用情况

包括产品的访问量、使用方法和演示视频等信息。

关键观点4: 文章对部分产品进行了评价

对产品的优势和存在的问题进行了分析,同时也对未来的发展趋势进行了预测。


正文

2024年超过一半过去了,围绕AI生成视频的技术,现有产品做到什么程度了?出圈的产品长什么样?

这里选取了全球6月访问量最高的AI视频产品,筛选标准为产品必须包含生成式AI的技术(包括Diffusion / Transformer),包含从模型即产品的明星公司,到仅仅使用少量AI元素的剪辑工具。筛选所选择的数据源来自Similarweb,访问量定义是指“网站有多少次被访问,进入网站后的动作不计入再次统计”。
本篇正文为Top20产品简介,Key Findings部分包含较多个人观点和判断,产品清单可能存在遗漏,欢迎建议和指正。
Key Findings
1. Top20产品榜单中大部分为工具属性,产品形态主要集中于4个大类:
第一类:文/图生视频产品6个,类似于Luma AI/可灵形态,生成较短的视频片段,最热门的为Luma AI,生成时间最长的为可灵,达到3分钟。Runway额外提供了超过30个视频编辑工具,让AI生成的视频更接近可用。
第二类:数字人视频编辑工具5个,典型产品为Vidnoz和HeyGen,这类产品非常多,主打像做PPT一样制作数字人视频,用于商业介绍、销售、培训等场景。
第三类:视频编辑工具5个,这类产品主要功能是剪辑视频,大多数在生成式AI出现之前就有了,AI起到的作用主要是背景消除、声音克隆、数字人形象、物体移出、自然语言控制编辑等,代表性产品包括VEED.IO、Descript等。
第四类:AI换脸/换全身2个,包括近期因为AI换全身作品火爆的Viggle,以及热门AI换脸产品Faceswapper。
其他类型:比如AI生成完整可用视频InVideo、视频切片工具Opus Clip、让照片开口说话的D-ID、更真实的数字人Synthesia。
2. 壁垒方面,同一种类别的产品有很多,实际效果差异化不大,没有看到自建壁垒的产品形态或者商业模式, 比如传统互联网产品强调的网络效应和社区属性,所以长期来看的concern是产品的生命周期和用户粘性。个人推测,随着AI技术的进步,热门产品榜单会不断洗牌。
3. 商业价值方面,目前看到比较有实际落地商业价值的产品有3类,
1) 数字人视频编辑工具,像做PPT一样制作数字人视频,用于商业介绍、销售、培训等场景,价值是降低视频制作门槛,
2) 短视频切片工具,比如Opus Clip,用于从长视频中切出具备爆款属性的短视频,价值在于AI选择片段替代人工,效率更高、成本更低,实际投放的ROI不清楚,
3) 视频编辑工具,传统编辑功能为主,AI功能起到很小的辅助作用。其他类型,更偏向于尝鲜和娱乐属性的工具,推测生命周期较短。
4. 全部产品中,有3个我觉得最有意思的产品形态,
1) AI换全身产品Viggle,曾经制作出多个具有爆款属性的视频,被传播的原因主要是搞笑、AI技术自带流量,
2) AI生成完整可用视频InVideo,输入文本,AI输出讲述性质的视频,适合效果类似于“巫师财经”这种文字解说+对应视频片段的内容,AI生成后支持进一步的编辑,看起来更接近直接可用,
3) 视频切片工具Opus Clip,使用非常简洁,生成具备爆款潜质的短视频。
5. AI生成视频技术的价值没有被体现, 除了模型即产品的Luma AI、Pika,没有任何产品将AI生成的视频作为最终交付产品的核心部分,前者主要作为噱头满足好奇心(没有看到具体可落地的场景),后者接近落地闭环的产品往往使用的是传统AI技术,而非基于Diffusion和Transformer的Text-to-Video。
希望我们继续保持耐心、保持开放,在“不够强”的模型能力下寻找垂直需求,在产品爆火后思考技术本身的价值和生命周期。
点击关注,每天更新深度 AI 行业洞察
产品目录
序号
产品名称
一个词简介
1
Luma Al
文/图生视频
2
Viggle
Al换全身
3
VEED.IO
视频编辑工具
4
InVideo
AI生成完整可用视频
5
Vidnoz Al
数字人视频工具
6
Opus Clip
视频切片工具
7
Media.io
视频编辑工具
8
Runway
文/图生视频+编辑工具
9
HeyGen
数字人视频工具
10
DeepBrain Al
数字人视频工具
11
Filmora
视频编辑工具
12
Faceswapper
Al换脸
13
Descript
视频编辑工具
14
Haiper
文/图生视频
15
Pika
文/图生视频
16
Lumen5
视频编辑工具
17
D-ID
照片转换数字人视频
18
PixVerse
文/图生视频
19
可灵
文/图生视频
20
Synthesia
更真实的数字人

01

Luma AI:文/图生视频

官网链接:https://lumalabs.ai/dream-machine
产品功能有4个,文生视频、图生视频、视频延长以及关键帧视频,可以生成长达10秒的视频。前面3个功能比较常见,关键帧视频是Luma的比较新颖的功能,简单来说就是需要两张图片,第一张图片作为起始帧,第二张图片作为结束帧,Luma AI会进行自动插值,从第一张图片平滑过渡到第二张图片,并以此生成一个新的视频。
使用演示:https://www.youtube.com/watch?v=JmSHU2FZ8II
商业模式,免费方案是每个人每月有30次生成视频的机会,每天最多有5次机会,但生成视频的速度也会稍慢,并且下载的视频也会带有Luma的水印。
图生视频效果:
首尾帧效果:

02

⭐️Viggle:AI换全身

官网链接:https://viggle.ai/
Viggle无需Prompt,仅需要一张人像图片,加上一个动作视频,就可以快速让该人物做出对应动作。另外,它还支持一个动漫人物图片加上一句Prompt,生成漫画人物跳舞视频。Viggle目前仅支持一次生成1分钟的视频,更细致的动作需要借助ComfyUI等工具实现。
4月,一条“小丑开演唱会”的短视频一炮而红,随后“小丑爆破医院”“马斯克蜘蛛侠斗舞”等AI视频在社交网络爆红,上演着不同人物的“瞬息全宇宙”。以“小丑开演唱会”视频为例,Viggle从一张平面图片上采集小丑的样貌和形体,平移到了说唱歌手Lil Yachty的骨骼上,还原了Lil Yachty的踢脚、转身等物理行为,还有Lil Yachty的表情、重量和速度,还能在视频中反映小丑的正面、侧面、背面各种形态,以及手部等细节。
生成效果方面,Viggle所见即所得,无论是角色的动作连贯性、可控性,还是场景的逻辑一致性,Viggle的视频品质都很稳定,能确保最终生成视频的流畅性和逼真度。与很多AI视频需要靠语义理解生成视频不同,Viggle可以直接把需求用视频的形式告诉工具,AI只要照轨迹用动作迁移的方式去复制下来,绕过语义理解,保证了生成视频的“原汁原味”。
Viggle能够广泛传播的原因是,二创和模块化。Viggle本身就拥有天然的传播属性,擅长生成一些突破脑洞的离谱视频,比如基于自己或他人形象来重现名人的招牌动作、创造虚拟角色、制作鬼畜视频等等。加上Viggle的用户画像70%都是18-35岁的人群,属于创意和分享欲望最强的群体。

其实有多个产品在做类似的事情,比如比较早的Wonder Studio(https://wonderdynamics.com/),定位用AI替代CG动画,特点是可以将原有视频的光影转移到被替换的动画人物上,产品宣传片效果有点震撼,实际测试效果不如宣传片。 几乎没有访问量。


03

VEED.IO:视频编辑工具

官网链接:https://www.veed.io/
主要功能包括:
  • 视频编辑:提供剪辑、转场、文本格式化等编辑功能。
  • 虚拟形象:创建和使用虚拟形象作为视频中的角色。
  • 自动字幕:利用AI技术自动生成视频字幕。
  • 语音翻译:将视频中的语音内容翻译成不同语言。
  • 在线录制:支持屏幕和网络摄像头录制。
  • 音乐和音效库:内置丰富的音乐和音效资源。
使用演示:https://www.youtube.com/watch?v=hrrG3Qyh8qw


04

⭐️InVideo:AI生成完整可用视频

官网链接:https://ai.invideo.io
只需输入提示词,就可以获得一个具备文字、配音、画面和背景音乐的完整视频,长度从15秒到15分钟不等。生成视频后,还可以进行后期编辑,支持更改视频格式、更换配音等,也可以手动编辑视频脚本或替换视频片段。支持自己的声音片段,翻译成多种语言。
其中有4种生成视频类型:Youtube shorts(短片)、Youtube explainer(视频解说)、Recent events video(活动类型)、Script to Video(脚本到视频)。
使用演示:https://www.youtube.com/watch?v=yOu0PYVmYbw
官方产品演示:
后期编辑界面:

05

Vidnoz AI:数字人视频工具

官网链接:https://www.vidnoz.com/
用户从零开始或基于现有模板快速生成数字人视频,可以选择人物头像、合成声音、视频布局、背景音乐、语言等,内含很多编辑工具,包括:
1. 数字人类:照片数字人、2D数字人。
2. 音频类:声音克隆、文字转音频、AI变声、AI声音分离。
3. 视频类:模板生成视频、视频换脸、视频翻译、文字生成视频、图片生成视频、AI视频增强、图片生成跳舞视频。
4. 图片类:图片换脸、AI图片合成、AI头像生成、图片转卡通、图片背景消除。

06

⭐️Opus Clip:视频切片工具

官网链接:https://www.opus.pro/
产品功能,将长视频自动调整为短视频。通过 AI 分析视频,挑选视频亮点片段,并将它们重新排列成可以单独存在的短视频。不过,支持的视频内容范围集中在出现人像的视频。
使用方法,用户只需要访问Opus Clip官方网站,将想要处理的 YouTube 视频链接粘贴到输入框中,点击“Get clips in one click”按钮,即可生成视频。
使用演示:https://www.youtube.com/watch?v=tEXaoozFRes

07

Media.io:视频编辑工具

官网链接:https://www.media.io/
基于浏览器的视频编辑器,主打简单易用,核心特色功能包括:AI 物体一键移除、AI背景去除、自动字幕生成、AI 画质增强。除了视频编辑器,该平台还提供图片编辑、人像美容、声音编辑等。面向用户为,商业、营销、社交媒体或娱乐领域的所有创作者。
产品介绍视频:https://www.youtube.com/watch?v=voP3k0XrDMo

08

Runway:文/图生视频+编辑工具

官网链接: https://runwayml.com/

核心功能为文/图生成视频,支持生成10秒的视频片段。同时集成了 30 多种人工智能工具,允许用户构思、迭代和生成内容。视频生成、图像扩展、擦除视频中的事物、放慢视频速度、让图片移动、移除背景等等。
最新的视频模型为Gen-3,在生成视频的质量、色彩、饱和度、光影、文本语义还原、运镜、动作一致性、场景切换等实现大幅度提升。
官方发布的视频效果:

09

HeyGen:数字人视频工具

官网链接:https://www.heygen.com/
用户可以轻松地创建各种类型的数字人视频,包括自己形象的数字人,在几分钟内生成用于市场营销、沟通、销售、学习等领域的精美视频。特色功能为,可以通过AI语音和唇语同步将现有视频本地化到175种语言和地区方言,并且保留了说话者的原声,以自然的唇语同步方式呈现本地化语言。
产品介绍视频:https://www.youtube.com/watch?v=on49dH1heA4

10

DeepBrain AI:数字人视频工具

官网链接:https://www.deepbrain.io/
将文本内容转换成虚拟人视频,为公司会议、产品介绍提供快速生成视频的方案。支持直接导入文档、PPT、电商产品链接,生成介绍视频。编辑方面,可以像使用PPT一样编辑虚拟人视频。

11

Filmora:视频编辑工具







请到「今天看啥」查看全文