专栏名称: GitHubStore
分享有意思的开源项目
目录
相关文章推荐
参考消息  ·  台军“航母杀手”首曝光,网友群嘲 ·  昨天  
北京吃货小分队  ·  哪吒2周边合集!你抢到了吗 ·  2 天前  
世界说  ·  两个月98起事故 美国航空事故为何频发? ·  3 天前  
参考消息  ·  南部战区公布现场视频! ·  3 天前  
参考消息  ·  爆料:美国拒绝共提涉俄草案 ·  3 天前  
51好读  ›  专栏  ›  GitHubStore

StreamV2V:视频实时换脸!

GitHubStore  · 公众号  ·  · 2024-06-04 11:19

正文

项目简介


可以进行视频实时换脸和风格转换

StreamV2V 能够在 RTX 4090 GPU 上实现实时视频到视频的转换,处理帧速率达到 20 FPS。

支持将视频中的人脸替换为其他人的脸

还可以将视频转换成不同的艺术风格,包括:

黏土动画风格:将视频处理成类似于黏土动画的效果。

涂鸦艺术风格:将视频转换成类似于手绘涂鸦的艺术效果。

StreamV2V 能够处理流媒体输入 输入的视频可以是实时流媒体视频,比如从网络摄像头传输的视频流。

亮点

我们的StreamV2V可以在一块RTX 4090 GPU上实时执行视频到视频的翻译。查看视频并亲自尝试!

在功能方面,我们的StreamV2V支持面部交换(例如:变成埃隆·马斯克或威尔·史密斯)和视频风格化(例如:变成黏土动画或涂鸦艺术)。查看视频并复现结果!

安装

请查看安装指南。

入门

请查看开始使用说明。

本地GPU上的实时摄像头演示

请查看带摄像头的演示指南。

许可证

StreamV2V根据德克萨斯大学奥斯汀分校研究许可证进行许可。

致谢

StreamV2V在很大程度上依赖于开源社区。我们的代码是从StreamDiffusion 和 LCM-LORA 复制并适应的。除了基础的SD 1.5 模型外,我们还使用了CIVITAI 的多种LORAs。

引用 StreamV2V 🙏

如果您在研究中使用StreamV2V或希望引用论文中发布的基准结果,请使用以下BibTeX条目。

StreamV2V TBA
@article{kodaira2023streamdiffusion, title={StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation}, author={Kodaira, Akio and Xu, Chenfeng and Hazama, Toshiki and Yoshimoto, Takanori and Ohno, Kohei and Mitsuhori, Shogo and Sugano, Soichi and Cho, Hanying and Liu, Zhijian and Keutzer, Kurt}, journal={arXiv preprint arXiv:2312.12491}, year={2023}}


项目链接

https://github.com/Jeff-LiangF/streamv2v/blob/main/README-cn.md

关注「 GitHubStore







请到「今天看啥」查看全文