MagicClothing：AI换装

项目简介

MagicClothing 这个AI 换装的演示效果有点强啊。而且还可以与 ControlNet 和 IP-Adapter 等其他技术结合使用。还是开源的，期待对应的 ComfUI 节点。详细介绍：推出了一种名为 Magic Clothing 的新型网络架构，它基于潜在扩散模型（LDM）进行开发，专门处理一项新的图像合成任务——服装驱动的图像合成。该系统旨在生成根据不同文本提示定制的、穿着特定服装的角色。在这一过程中，图像的可控性至关重要，主要是要确保服装的细节得以保留，并且生成的图像要忠实于文本提示。为了实现这一点，我们开发了一种服装特征提取器，用以详细捕捉服装的特征，并通过自注意力融合技术，将这些特征有效整合到预训练好的LDMs中，确保目标角色的服装细节不发生改变。同时，我们还使用了一种称为联合无分类器指导的技术，以平衡服装特征和文本提示在生成图像中的影响。此外，我们提出的服装提取器是一个可插拔模块，可以应用于多种经过微调的LDMs，并能与 ControlNet 和 IP-Adapter 等其他技术结合使用，进一步提高生成角色的多样性和可控性。我们还开发了一种名为匹配点LPIPS（MP-LPIPS）的新型评估指标，用于评价生成图像与原始服装之间的一致性。

新闻

🔥 [2024/4/16] 我们的论文现已上市！

🔥 [2024/3/8] 我们发布了在 768 分辨率上训练的模型权重。服装强度和文字提示可以独立调整。

🤗 Hugging Face 链接

🔥 [2024/2/28] 我们支持 IP-Adapter-FaceID 和 ControlNet-Openpose！人像和参考姿势图像可用作附加条件。

玩得开心gradio_ipadapter_openpose.py

🔥 [2024/2/23] 现在支持IP-Adapter-FaceID！人像图像可以用作附加条件。

玩得开心gradio_ipadapter_faceid.py

安装

1. 克隆存储库

git clone https://github.com/ShineChen1024/MagicClothing.git

2. 创建 conda 环境并安装所需的包

conda create -n magicloth python==3.10conda activate magiclothpip install torch==2.0.1 torchvision==0.15.2 numpy==1.25.1 diffusers==0.25.1 opencv-python==4.9.0.80  transformers==4.31.0 gradio==4.16.0 safetensors==0.3.1 controlnet-aux==0.0.6 accelerate==0.21.0