一款虚拟试衣应用Virtual Try-On App

项目简介

该存储库包含使用 Flask、Twilio 的 WhatsApp API 和带有 IDM-VTON 试戴模型的 Gradio 应用程序构建的虚拟试戴应用程序的代码。用户可以通过 WhatsApp 将图像发送到 Twilio，以虚拟方式试穿服装，然后将结果发送回给他们。

特征

• 通过 WhatsApp 接收人和衣服的图像。

• 使用 Gradio 的 API 生成虚拟试穿结果。

• 通过 WhatsApp 将结果图像返回给用户。

• 使用 Twilio Sandbox for WhatsApp 轻松进行原型设计和测试。

使用的技术

• Flask ：后端服务器，用于处理请求并与 Twilio 和 Gradio 交互。

• Twilio API ：发送和接收 WhatsApp 消息和媒体。

• Gradio API ：用于与虚拟试穿 Gradio 应用程序进行交互，该应用程序在底层使用 IDM-VTON（改进真实虚拟试穿的扩散模型）模型来生成准确的服装试穿结果。

• Ngrok ：用于将本地服务器公开到互联网以进行 WhatsApp 交互。

先决条件

在运行此项目之前，请确保您具备以下条件：

• 具有 WhatsApp 沙箱设置的 Twilio 帐户。

• Hugging Face 帐户使用 Gradio API。

• 您的计算机上安装了 Python 3.6+。

Twilio 设置

1. 创建一个Twilio 帐户。

2. 激活WhatsApp 的 Twilio 沙箱：

• 在 Twilio 控制台中，导航到 “消息传递” 部分，然后选择 WhatsApp 沙箱下的 “试用” 。

• 按照说明通过向提供的 Twilio 号码发送 WhatsApp 消息来加入沙箱。

• 转到 Twilio 控制台中的 “设置” 以查找这些凭据。

设置沙盒后，您可以开始向 WhatsApp 沙盒号码接收和发送消息，以测试您的虚拟试戴应用程序。

Hugging Face设置

1. 创建一个 Hugging Face a 帐户。

2. 使用 Nymbo 虚拟试穿 模型作为 Hugging Face Spaces 上提供的 API：Nymbo 虚拟试穿。该 API 是使用 IDM-VTON（基于图像的虚拟试穿网络）模型构建的，该模型会拍摄两个人的图像以及一件可以产生真实试穿效果的服装。