Summary 简介
有任何问题以及想法欢迎随时交流。
一个懒人 LoRA 制作指南，手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。作者是用XL生成的图片，你可以用MIdjoureny生成效果比较好。
本文是一份 LoRA 模型制作的新手教程,作者手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论即可轻松上手。
作者分享了制作 LoRA 模型的完整步骤:准备工具和训练数据、生成和筛选输入图像、使用 OneTrainer 进行训练、调整关键参数等。
文中提供了作者的完整训练数据集和参数设置供读者参考,以及一些有助于提高训练效果的优质指南。
通过这份教程,读者可以快速入门 LoRA 模型制作,学会如何训练出独特风格的 AI 绘画模型,创作出令人惊艳的 AI 艺术图像。
我是一名 LoRA (Low-rank Adaptation,低秩自适应)制作的新手,在寻找一份优质指南的过程中遇到了一些困难。现有的指南要么细节不足,要么又太过冗长。所以,这份指南就是我当时想要却没能找到的那种教程,直奔主题,告诉你该"按哪些按钮",而不会过多探讨理论。
老实说,我原本以为制作一个 Embedding (嵌入)就足够了。但不知为何,结果总是不尽如人意。所以我转而尝试训练 LoRA,但效果依然不够理想。直到我发现了一个小技巧!
(不是在开玩笑,这是真的。我会在文末再提这个技巧的。)
这份指南的内容
你可以在这里查看我制作的 LoRA 模型:
https://civitai.com/models/381785/faeryqueen-sd
这个 LoRA 模型并不出众,我制作它主要是为了学习和实践制作流程。但我认为它已经相当不错了。
所需工具
你喜欢的模型和图像生成工具
我使用的是 StableSwarmUI 和
GhostXL
[1]
模型。
OneTrainer
你可以从这里获取 OneTrainer:
https://github.com/Nerogar/OneTrainer
我之所以选择 OneTrainer,是因为看到有人说它比 Kohya 更快、更好、更易用。
具体步骤
概览
-
生成输入图像,并保存到指定目录
-
删除所有质量不佳的图像
-
告诉 OneTrainer:"请帮我制作一个 LoRA 模型!"
1. 生成输入图像
大多数人会选择"收集"用于训练的图像数据。但我比较懒,所以决定直接用一个优秀的 SDXL (Stable Diffusion XL)模型来生成训练图像。
在本指南的初始版本中,我曾提到如何创建自定义的 ComfyUI 处理流程(pipeline)来缩小 SDXL 图像。因为当时出于某些原因,内置的 OneTrainer 缩放器对我不起作用。但后来我又试了一次,发现它可以正常工作了。所以这一步现在变得简单多了。
我在这个阶段所做的:
-
在 StableSwarmUI 中尝试,直到找到一个满意的提示词(prompt),搭配 GhostXL 模型。
-
批量生成 100 张图像,保存至指定目录。
-
创建一个我认为用户会用来调用这个 LoRA 的提示词(与生成图像时的提示词相似,但不完全一样)。
-
用另外 100 张图像重复上述过程,这次换成不同视角,并将提示词保存在本地文本文件中。
2. 筛选训练图像
完成上述步骤后,你就得到了一批目标图像。理想情况下,你需要逐一检查,手动删除所有质量不佳的图像。
如果你用的是 Linux 系统,可以使用一个叫做 "feh" 的小工具。在图像目录中运行它,使用方向键前进/后退,使用 Delete 键删除图像。
如果你用的是 Windows 系统,有人推荐使用 "IrFanView",操作方式与 feh 类似。
另外,
这篇指南
[2]
提供了一些很有帮助的建议,教你如何明智地挑选训练图像。
3. 制作 LoRA 模型
现在,启动 OneTrainer,选择 "# sd 1.5 lora" 预设配置。
(为了安全起见,我建议你立即将配置"保存"为一个自定义名称。)
基本设置步骤:
-
在"模型"区域,设置"基础模型"和"模型输出目录"。注意,我在指定本地基础模型文件时遇到了一些问题,不得不使用 Hugging Face 格式,比如"stablediffusionapi/ghostmix"。
-
在"Concepts"区域,创建一个概念。设置"名称"、"路径"(输入数据)和"提示词来源"。对于提示词来源,我选择单个文件,创建一个文件,里面基本上只包含最初生成图像时用的提示词。你当然可以更高级一些,为每张图像单独指定提示词。但这是一份"懒人"指南,所以我略过了这一步。
-
如果你和我一样,需要将 SDXL 转换为 SD 格式,那么你必须在 Concepts -> (你的概念) -> 图像增强(Image Augmentation)中启用分辨率覆盖(Resolution Override)。
-
在 "Lora" 区域,设置期望的"秩"(rank)参数。这个参数下面会详细说明。
