微软推出：多重LoRAs生成图片

GitHubStore · 公众号 · · 2024-03-10 08:09

正文

项目简介

微软这个研究相当强啊，可以不经过训练直接融合多个 Lora 不损失效果，而且他们提出的通过 GPT-4V 评价图像质量的方法也很有参考性。项目介绍：本项目旨在通过新的文本至图像生成方法，着重采用多重低秩适应（Low-Rank Adaptations, LoRAs）技术，创造高度个性化且细节丰富的图像。我们介绍了LoRA开关（LoRA Switch）与LoRA组合（LoRA Composite），这两种方式的目标是在精确度和图像质量上超越传统技术，特别是在处理复杂图像组合时。

项目特色

免训练方法 LoRA开关和LoRA组合支持动态精确地整合多个LoRA，无需进行微调。我们的方法不同于那些融合LoRA权重的做法，而是专注于解码过程，并保持所有LoRA权重不变。

ComposLoRA测试平台这是一个全新的综合性测试平台，包含480套组合和22个在六大类别中预训练好的LoRA。ComposLoRA专为评估基于LoRA的可组合图像生成任务而设计，支持定量评估。

基于GPT-4V的评估工具我们提出采用GPT-4V作为评估工具，用以判定组合效果及图像质量。该评估工具已证实在与人类评价的相关性上有更好的表现。

卓越性能无论是自动化还是人类评价，我们的方法都显著优于现有的LoRA合并技术。在生成复杂图像组合的场景中，我们的方法表现出更加突出的优势。

详尽分析我们对每种方法在不同场景下的优势进行了深入的分析。同时，我们还探讨了采用GPT-4V作为评估工具可能存在的偏差。