视频高清化EvTexture!

项目简介

“EvTexture：视频超分辨率的事件驱动纹理增强”论文 (ICML 2024) 的官方 Pytorch 实现。

安装

• 依赖项：Miniconda、CUDA 工具包 11.1.1、torch 1.10.2+cu111 和 torchvision 0.11.3+cu111。

• 运行在Conda

conda create -y -n evtexture python=3.7conda activate evtexturepip install torch-1.10.2+cu111-cp37-cp37m-linux_x86_64.whlpip install torchvision-0.11.3+cu111-cp37-cp37m-linux_x86_64.whlgit clone https://github.com/DachunKai/EvTexture.gitcd EvTexture && pip install -r requirements.txt && python setup.py develop

在 Docker 中运行👏

注意：在运行 Docker 映像之前，请确保按照官方说明安装 nvidia-docker。

【方案一】直接从阿里云拉取我们发布的Docker镜像。

docker pull registry.cn-hangzhou.aliyuncs.com/dachunkai/evtexture:latest

[选项 2] 我们还提供了一个 Dockerfile，您可以使用它自己构建镜像。

cd EvTexture && docker build -t evtexture ./docker

拉取或自建的 Docker 镜像包含一个完整的 conda 环境，名为 evtexture 。运行镜像后，您可以挂载数据并在此环境中进行操作。

source activate evtexture && cd EvTexture && python setup.py develop

测试

1. 从（Releases / Onedrive / Google Drive / 百度云(n8hg)）下载预训练模型并将其放置到 experiments/pretrained_models/EvTexture/ 。网络架构代码在evtexture_arch.py中。

• EvTexture_REDS_BIx4.pth：在 REDS 数据集上进行训练，BI 降级为 4 × SR 规模。

• EvTexture_Vimeo90K_BIx4.pth：在 Vimeo-90K 数据集上进行训练，BI 降级为 4 × SR 规模。

• Vid4_h5：包含 Vid4 预处理测试数据集的 HDF5 文件。

• REDS4_h5：包含 REDS4 预处理测试数据集的 HDF5 文件。

• 在 Vid4 上测试 4x VSR：

./scripts/dist_test.sh [num_gpus] options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml

• 在REDS4 上测试 4x VSR:

./scripts/dist_test.sh [num_gpus] options/test/EvTexture/test_EvTexture_REDS4_BIx4.yml