专栏名称: 计算机视觉研究院

主要由来自于大学的研究生组成的团队，本平台从事机器学习与深度学习领域，主要在人脸检测与识别，多目标检测研究方向。本团队想通过计算机视觉战队平台打造属于自己的品牌，让更多相关领域的人了解本团队，结识更多相关领域的朋友，一起来学习，共同进步！

RTX 4090可跑、完全开源，最快视频生成模型问世，实测一言难尽

计算机视觉研究院 · 公众号 · · 2024-12-03 10:10

正文

点击蓝字关注我们

关注并星标

从此不迷路

计算机视觉研究院

公众号ID ｜ 计算机视觉研究院

学习群 ｜ 扫码在主页获取加入方式

项目地址：https://github.com/Lightricks/LTX-Video

计算机视觉研究院专栏

Column of Computer Vision Institute

开源 AI 视频社区又一个重量级选手下场。

这个周末，押注开源人工智能视频的初创公司 Lightricks，有了重大动作。

该公司推出了最快的视频生成模型 LTX-Video，它是 首个可以实时生成高质量视频的 DiT 视频生成模型 。

在一块 Nvidia H100 上， LTX-Video 只需要 4 秒就能生成 5 秒时长的 24FPS 视频，分辨率 768x512，可以说视频生成速度比视频观看速度还要快 。同时 LTX-Video 完全开源，包括代码库和模型权重。

LTX-Video共同作者和负责人。

「有史以来最快的文生视频模型诞生了。」

首先来看几个视频生成官方 Demo。

目前，用户可以在 GitHub Hugging Face 上体验预览版 LTX Video。完整版发布之后将免费供个人和商业使用，并即将集成到 LTX Studio 中。

我们尝试生成了两个视频，比如「a dog chasing a boy who is skateboarding」。

再比如「a girl with an umbrella standing on a bridge, and a handsome man walking towards her」。

试用地址：https://huggingface.co/spaces/akhaliq/anychat

接着来了解一下 LTX-Video 的细节。

LTX Video 是一个文本到视频和图像到视频模型，能够以惊人的速度和精度实时创建动态视频。该模型可以在 RTX 4090 等消费级 GPU 上本地运行，无需专用设备即可以低成本地生成高质量视频。

另外，LTX Video 基于开发人员的反馈和真实世界用例构建，可以提供自然逼真的结果。该模型做了高级定制化设计，可以流畅地集成各种外部工具，从而轻松地增强工作流。

在生成过程中，LTX Video 最大程度减少了闪烁和伪影，创建出具有出色细节和清晰度的高保真视频。每一帧都在精心制作下呈现清晰锐利、栩栩如生，符合用户的视觉效果。

最后，LTX Video 实现了无缝的跨帧一致性，从角色到环境，可以保持连贯的视觉效果，将每个细节整合在一起。

未来，LTX-Video 还会有技术报告放出。

© THE END

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入！

ABOUT

计算机视觉研究院

计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！

RTX 4090可跑、完全开源，最快视频生成模型问世，实测一言难尽

正文

请到「今天看啥」查看全文