奇月
转自：量子位 | 公众号 QbitAI
比PS更懂你的AI图片编辑工具——
MagicQuill
（魔法羽毛）来了！
1分钟出图：不用打字、简单勾画几笔就能编辑图片。
还支持直接在iPad上在线编辑！
研究团队来自香港科技大学、蚂蚁集团、浙江大学和香港大学等机构。
我们先一起看个例子感受一下——
有了MagicQuill，现在当你想要给人物更换衣服时，就可以直接画出领子，它会自动帮你补全。
加条项链、去除路人，几秒钟就搞定：
你还可以更换发色、让人物戴上花环，甚至更改花朵的颜色：
只需要1分钟多的时间，就可以实现上面这么多编辑效果，尤其是对于想要快速修改照片的用户来说，简直太方便了！
还有更多有趣的例子，机器人、汽车、蛋糕等，都可以快速修改！
有多位网友评论说，AI图像编辑真的进步飞快，“
能读懂用户心思
”是非常具有未来感的用户体验。
甚至还有网友说，颤抖吧，PS！
MagicQuill目标是理解精细修改意图
虽然目前AI图像编辑工具是百花齐放，但想要实现精细编辑，很多工具的效果还是比较令人捉急。
MagicQuill团队的目标是实现一个高效且精确的图像编辑系统，能够在用户进行细微修改时提供更好的使用体验。
这不仅包括实现细粒度的图像编辑控制、还要提供直观的用户界面、并实时预测用户意图。
最终团队选择基于扩散模型、文本和掩码的图像编辑方法、以及多模态大型语言模型（MLLMs） 进行实现，并设计了简约实用的用户界面。
MagicQuill的具体构成
一起来看看MagicQuill系统的具体构成是什么样的。主要分为3个部分：
1.编辑处理器
编辑处理器采用
双分支架构
，包括
内容感知修复分支
和
结构引导分支
。
内容感知修复分支利用UNet架构，结合掩码图像特征和预训练的扩散网络进行像素级修复。
结构引导分支则通过ControINet插入条件控制，确保编辑操作的精确性。
2.绘画助手
绘画助手通过
多模态大型语言模型（MLLM）
实时预测用户意图。
具体的任务称为“Draw&Guess”，也就是通过图像上下文解释用户笔画并自动生成相关提示。
团队采用的数据集通过生成边缘图和模拟用户笔画进行构建，并使用LLaMA模型进行微调。
3.创意收集器
创意收集器为用户提供了一个简约直观的界面，它兼容多个平台，团队也提供了在线demo，你可以在电脑或iPad上直接使用！
界面主要包括提示区、工具栏、图层管理、主画布、生成图像预览区、执行按钮和参数调整区。
按钮设计非常简洁，有上传图片、“增加”画笔、“减少”画笔、改颜色画笔、橡皮等等。
下方的参数调整区域更适合有丰富的生图经验的专业人士：
比如在Base Model Name里，你可以选择不同的基础模型，有适合生成真实风格的SD1.5/realisticVisionV60B1_v51VAE.safetensors、适合生成幻想风格的SD1.5/DreamShaper.safetensors等。
你还可以调整Negative Prompt避免生成部分内容、还有Fine Edge精细边缘调整、Grow Size调整笔触大小等等。完整工作流程如下图所示。
实际效果怎样呢？
为了更准确地测试MagicQuill的具体效果，团队还设计了3个验证实验：
1.可控生成评估
将MagicQuill与四个基线方法（SmartEdit、SketchEdit、BrushNet及其组合）进行比较，评估编辑处理器的可控生成能力，尤其关注边缘对齐和颜色保真度。
结果显示，MagicQuill的编辑处理器在所有指标上均优于基线方法，具有更高的边缘对齐度和颜色保真度。
