项目简介
可以进行视频实时换脸和风格转换
StreamV2V 能够在 RTX 4090 GPU 上实现实时视频到视频的转换,处理帧速率达到 20 FPS。
支持将视频中的人脸替换为其他人的脸
还可以将视频转换成不同的艺术风格,包括:
黏土动画风格:将视频处理成类似于黏土动画的效果。
涂鸦艺术风格:将视频转换成类似于手绘涂鸦的艺术效果。
StreamV2V 能够处理流媒体输入
输入的视频可以是实时流媒体视频,比如从网络摄像头传输的视频流。
亮点
我们的StreamV2V可以在一块RTX 4090 GPU上实时执行视频到视频的翻译。查看视频并亲自尝试!
在功能方面,我们的StreamV2V支持面部交换(例如:变成埃隆·马斯克或威尔·史密斯)和视频风格化(例如:变成黏土动画或涂鸦艺术)。查看视频并复现结果!
安装
请查看安装指南。
入门
请查看开始使用说明。
本地GPU上的实时摄像头演示
请查看带摄像头的演示指南。
许可证
StreamV2V根据德克萨斯大学奥斯汀分校研究许可证进行许可。
致谢
StreamV2V在很大程度上依赖于开源社区。我们的代码是从StreamDiffusion 和 LCM-LORA 复制并适应的。除了基础的SD 1.5 模型外,我们还使用了CIVITAI 的多种LORAs。
引用 StreamV2V 🙏
如果您在研究中使用StreamV2V或希望引用论文中发布的基准结果,请使用以下BibTeX条目。
StreamV2V TBA
@article{kodaira2023streamdiffusion,
title={StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation},
author={Kodaira, Akio and Xu, Chenfeng and Hazama, Toshiki and Yoshimoto, Takanori and Ohno, Kohei and Mitsuhori, Shogo and Sugano, Soichi and Cho, Hanying and Liu, Zhijian and Keutzer, Kurt},
journal={arXiv preprint arXiv:2312.12491},
year={2023}
}
https://github.com/Jeff-LiangF/streamv2v/blob/main/README-cn.md
关注「
GitHubStore