本文介绍了快手在2024年6月6日发布的名为“可灵”的视频生成大模型。该模型基于快手多年在视频技术领域的积累,融合了多项自主研发的技术创新,并已经应用于快影App中。文章还描述了可灵大模型的特点以及使用它和其他工具制作AI视频的过程,包括生成视频的支持功能、使用Kimi生成分镜脚本、使用可灵文生视频完成制作等。此外,文章还介绍了快手未来的研发计划和应用方向,以及一个关于AI的社群招募信息。
快手在2024年6月6日发布了名为“可灵”的视频生成大模型,采用了与Sora相似的技术路线并融合了多项技术创新。可灵大模型支持生成高清晰度、长时长的视频,具有3D时空联合注意力机制和自主研发的3D VAE技术,可以模拟复杂的时空运动和真实的物理特性。
作者使用Kimi生成了关于AI西游天宫的分镜脚本,包括天宫的全景、入口、皇帝龙椅、仙人交谈、仙女跳舞、建筑细节、云雾中的天宫、天宫花园、夜景和日出等镜头的描述。
作者介绍了使用可灵文生视频和剪映合成短视频的流程,包括将中文提示词放入“AI生视频”模块,等待生成视频,然后将生成的视频导入剪映进行后期制作。
快手计划继续加速大模型的研发与应用,为用户带来更多样化的AI创作与互动体验。未来,基于可灵大模型,快手还将推出更多新的应用方向,如“AI唱跳”新玩法。
文章最后附带了一个AI社群的招募信息,该社群主要用来交流AI和学习各种AI项目,并提供老师解答和实操机会。感兴趣的人可以加入该社群,并通过微信报名。
快手在2024年6月6日发布了名为“可灵”的视频生成大模型。这款由快手AI团队自主研发的模型,基于快手多年在视频技术领域的积累,采用了与Sora相似的技术路线,并融合了多项自主研发的技术创新,使其能够媲美Sora。
截至目前,可灵大模型已在快影App开放邀测体验。行者前天晚上申请时队列约1万人,而现在队伍已超过4万人。今天收到内测通过的申请后,下午忙于进行了一轮测试。
以下是我使用可灵AI制作的AI天宫小视频,整个制作过程仅用了10分钟,效果真的非常出色。
网址:
https://kling.kuaishou.com/
1. 可灵大模型特点
生成的视频支持高达1080p的分辨率,最长可达2分钟(帧率30fps),并且支持自定义的宽高比。
采用了3D时空联合注意力机制,能够更好地模拟复杂的时空运动。
模拟真实物理世界的特性,生成符合物理规律的视频。
支持生成长达2分钟的视频,帧率达到30fps。
快手可灵采用了3D时空联合注意力机制和自主研发的3D VAE技术,可以完美模拟复杂的时空运动和真实的物理特性。无论是宇航员在月球上奔跑,还是小男孩在花园里骑自行车,都能生成流畅自然的动作和逼真的环境细节。
2. 使用Kimi生成分镜脚本
之前我在制作短视频时,使用Kimi生成了一组关于AI西游天宫的分镜脚本。今天正好利用这些分镜提示词来制作视频。
以下是根据你提供的天宫仙境场景,我为你构思的10个镜头的分镜脚本:
镜头1:全景展示
描述:镜头从远处缓慢推进,展示整个天宫的全景,云雾缭绕,阳光透过云层,天宫在阳光下金光闪闪。
动作:镜头慢慢推进,云雾缓缓移动。
镜头2:天宫入口
描述:镜头聚焦于天宫宏伟的入口,门上雕刻着精细的龙纹,门缓缓打开,内部辉煌绽放。
动作:门缓缓开启,内部光影闪烁。
镜头3:皇帝龙椅
描述:皇帝身穿龙袍,头戴金冠,端坐在龙椅上,目光远眺,周围仙人们肃立。
动作:皇帝微微点头,仙人们鞠躬行礼。
镜头4:仙人交谈
描述:几位仙人围坐一起,手持法器,面容慈祥,低声交谈,周围云雾缭绕,增添神秘感。
动作:仙人轻挥法器,云雾随之波动。
镜头5:仙女跳舞
描述:仙女们在天宫平台上翩翩起舞,优雅的舞姿,飘逸的裙摆。
动作:仙女们旋转跳跃,裙摆在云雾中飘动。
镜头6:天宫建筑细节
描述:镜头拉近,展示天宫建筑精美的细节,如飞檐翘角、琉璃瓦片、雕刻图案。
动作:镜头缓慢移动,展示建筑细节。
镜头7:云雾中的天宫
描述:镜头穿过云雾,展示若隐若现的天宫,神秘莫测。
动作:云雾缓缓散开,天宫逐渐显现。
镜头8:天宫花园
描述:镜头展示天宫内的花园,奇花异草,仙鹤漫步,宁静祥和。
动作:仙鹤优雅地行走,花朵随风摇曳。
镜头9:天宫夜景
描述:夜幕降临,灯笼和星光点缀着天宫,展现出神秘而美丽的景象。
动作:灯笼逐一点亮,星光闪烁。
镜头10:天宫日出
描述:从天宫的最高点开始,随着太阳的升起,天宫被朝阳笼罩,云雾渐渐消散。
动作:太阳缓缓升起,天宫在朝阳下逐渐清晰。
这份分镜脚本能为你提供一个完整的视觉体验,从远处到近处,从白天到夜晚再到日出,希望能帮助你创造出令人印象深刻的天宫仙境场景。
3. 使用可灵文生视频
完成分镜图和分镜提示词后,我们在快影上生成视频:
将中文提示词放入“AI生视频”模块,点击生成视频,等待2-3分钟。
以下是两个小分镜视频:
镜头:云雾中的天宫
描述:镜头穿越云雾,展示若隐若现的天宫,神秘莫测。
动作:云雾缓缓散开,天宫建筑逐渐清晰。
镜头:天宫花园
描述:镜头展示天宫内的花园,奇花异草,仙鹤漫步,宁静祥和。
动作:仙鹤优雅地行走,花朵随风摇曳。
4. 使用剪映合成短视频
将生成的视频导入剪映,加入文字、背景音乐,调整画面顺序,完成整体视频制作。
5. 使用心得
目前,可灵大模型已在快影App开放邀测体验。快手计划继续加速大模型的研发与应用,为用户带来更多样化的AI创作与互动体验。
此外,基于可灵大模型,未来将推出更多新的应用方向。即将推出的“AI 唱跳”新玩法可以同时驱动表情和肢体动作,仅需一张照片就能生成“唱跳”视频,为用户带来更多乐趣和创作灵感。
觉得有用的朋友,
点个赞和
在看
"
“
支持一下。
AI行业太火爆了,目前本人创建了一个社群,主要用来交流AI和学习各种AI项目的。
社群每个月会更新1-5个AI项目给大学习实操,群里面也有老师专门为大家解答,实操过程当中遇到不懂的老师都会解答。
因为刚建不久,前期需要人气,所以目前进群只需要
一份奶茶钱69元
即可,200人之后涨价298元。
如果你对AI这个领域感兴趣,并且想通过AI在互联网上面赚取一份收益的,可以加入。
感兴趣加微信报名:bf666774,加的人太多,记得备注 “AI训练营”