MagicQuill是一个由支付宝和香港大学联合开发的智能互动图像编辑系统。它通过直观的界面和AI驱动的功能,实现快速而精准的图像修改。系统集成了多模态大语言模型,实现实时意图预测,免去复杂的文字输入。用户只需简单的笔触操作,即可完成复杂的图像编辑任务。
MagicQuill提供添加、删除和颜色调整笔刷,用户可以通过简单的手势操作,实现图像的精准编辑,如添加新元素、移除对象、调整颜色等。
MagicQuill通过多模态大语言模型,实时理解用户的操作意图,自动猜测并生成符合用户意图的图像编辑结果,提升编辑效率。
MagicQuill提供模块化设计,包含工具栏、画布和预览区域,支持跨平台运行。提供多种笔刷工具、橡皮擦、图层管理等,方便用户自由发挥创意。
MagicQuill支持多种生成风格模型,如写实、梦幻、动漫等,用户可以根据需求选择适合的模型进行编辑。
对于有经验的用户,MagicQuill还提供高级参数调整功能,如细节控制、笔触影响范围、颜色强度等,以满足更精细的生成控制需求。
目前的图像编辑软件都太过繁琐和上手难度较高,对普通用户来说,非常的不友好。
即使随时AI技术的反正,一些AI图像编辑工具仍然是非常难以上手。
对普通用户来说一直期待的一种AI图像编辑工具是:
我随便点点,说出我的需求即可帮我实现自动编辑
,无需操作复杂的步骤。
现在这种东西出现了...
MagicQuill
:由支付宝和香港大学联合开发的一个功能强大的智能互动图像编辑系统,通过直观的界面和 AI 驱动的功能,实现快速而精准的图像修改。
该系统集成了多模态大语言模型 (MLLM),
实现
实时意图预测
,从而免去复杂的文字输入。
基于用户的操作,系统会
智能生成相关提示
,
支持连续的编辑
流程。
只需简单的笔触操作,即可轻松完成如添加新元素、移除对象、调整颜色等复杂的图像编辑任务。
简单来说就是,
你可以用画笔随便在你需要修改的图像上画几笔,然后这个工具会通过 AI 自动帮你把图片变成你想要的样子!
-
添加东西:想给图片里的人加一顶帽子?用笔刷画个大概的形状,输入提示词,它会自动生成一顶帽子。
-
删除东西:不想要图片里的某个物品?用擦除笔刷涂掉它,AI 会自动修补背景,看起来就像那个物品从来没存在过。
-
改颜色:不喜欢图片里的颜色?用颜色笔刷涂一下,比如把粉色花变成蓝色。
更改你的发型和发色
更改背景和你的服装
把你变成肌肉男
给你添加发饰
帮你脱裤子
给你换个衣服
操作流程也非常简单
-
上传图片:选择需要编辑的图片,或使用内置画布开始创作。
-
-
使用高级参数调整生成结果的细节,如边缘强度、颜色范围等。
1. 编辑处理器 (Editing Processor)
编辑处理器是系统的核心模块,负责实际的图像编辑任务,
通过对用户笔触信号的解读,实现高精度的图像修改。
添加元素(Add Brush)
-
作用:通过笔刷在图片上绘制轮廓,AI 自动生成指定的新元素。
-
-
用户只需简单地画几笔,AI 会根据笔触和提示推测用户的意图。
-
可生成动物、装饰物或其他物体,并自动匹配图片的风格和细节。
-
案例 1:给人物添加饰品
上传一张肖像图片,使用添加笔刷画一个简单的圆环,AI 会生成一条逼真的项链,并与人物的脖子自然贴合。
-
案例 2:为风景增添元素
在一片森林画几笔作为小鹿的轮廓,AI 自动补全“一只生动的小鹿便栩栩如生。"且与背景融为一体。
删除元素(Subtract Brush)
-
作用:通过擦除笔刷,去掉图片中的不需要的部分,并自动修补空白区域。
-
-
AI 根据周围环境自动填补被删除部分,保持图片整体一致性。
-
-
案例 1:去掉多余的物品
“让我们把骷髅先生的帽子脱掉,帮他降温。”
-
案例 2:细节调整
上传一张海豚图片,发现海豚有多余的尾鳍。用删除笔刷涂掉多余的尾鳍,AI 会重新绘制海豚尾部,看起来毫无违和感。
&
颜色调整(Color Brush)
-
作用:使用颜色笔刷在图片中指定区域上色或改变已有颜色。
-
-
案例 1:改花的颜色
改变蛋糕上花的颜色 “你不觉得蓝色花朵看起来比粉色花朵更梦幻吗?”
-
-
精确的颜色高亮 - 精确涂抹您想要上色的地方,改变头发的一部分颜色,同时还能剪短头发
-
2.绘画助手 (Painting Assistor)
绘画助手是 MagicQuill 的智能化核心,通过
实时理解用户的操作意图,大幅简化编辑流程。
也就是工具会
猜测你的意图
,比如你画了一条线,它会问你“这是路径还是藤蔓?
” 如果猜错了,你可以改掉它。
智能猜测与修正
-
作用:AI 根据用户的笔触自动猜测编辑意图并生成内容,用户可以手动修改 AI 的猜测。
-
-
案例 2:识别整体和部分
你想给人物、机器人或者其他人物增加其他肢体或者部件,它能够识别你的意图来精准添加,毫无违和感。
功能细节
:
-
-
分析用户的笔触和上下文图像内容,预测用户的编辑意图。
-
自动生成符合语义的提示,例如“画出头饰后,系统提示‘花冠’”。
-
基于 LLaVA 模型进行微调,专注于用户笔触的语义解读。
-
支持连续编辑,减少用户在每一步都需输入文本提示的负担。
-
系统通过“画与猜”模式,将用户的涂画意图自动转换为编辑命令。
-
例如,用户画一个圆圈,系统预测“这是一个盘子”并执行相关编辑。
-
构建专用数据集,模拟用户绘画场景,使模型更擅长处理人类手绘输入。
-
针对模糊或多义的用户输入(例如一个简单的圆形),模型能给出上下文相关的多种猜测。
3. 创意收集器 (Idea Collector)
创意采集器(Idea Collector)提供简洁而强大的交互界面,降低学习成本:
-
-
包含工具栏(选择笔刷和参数调整)、画布(实时绘画和修改)、预览区域(查看生成结果)。
-
-
支持通过 Gradio 和 ComfyUI 等平台运行,适配多种设备。
-
-
功能丰富:提供分层管理和参数调整功能,方便用户自由发挥创意。
功能细节
:
-
-
-
涂鸦笔刷和颜色笔刷,便于用户对图像进行自由绘画式修改。
-
-
-
支持管理多个编辑步骤,让用户能够随时撤销或重做修改。
与 Gradio 和 ComfyUI 等生成式 AI 平台兼容。
通过 ReactJS 组件实现模块化设计,方便未来扩展和集成。
实时生成预览
:
灵活参数调整
:
III. 超实用的画布工具!
使用光标拖动、旋转和调整您的笔画大小 - 就像在 PowerPoint 中工作时一样!
&
左边是 ctrl+z,右边是 ctrl+y - 你知道这意味着什么!😊
对于 Mac 用户,左边是 command+z,右边是 command+shift+z!😝
哎呀!这看起来不对 😵 - 点击这个垃圾桶删除这条线
笔触挡住了我的视线,我怎么能看到图像😡?!试着点击这个按钮暂时隐藏你的笔触
&
这两个图标将在图像生成后出现...
我喜欢这个生成的图像😍,我想继续编辑!➡️ 点击✅继续编辑
这是什么东西 😡,我不想看到它!➡️ 点击 ❎ 丢弃结果
IV. 注释
当你看到左下角的旋转图标时,这意味着魔法羽毛笔仍在充电 💪 等待它消失后再点击运行按钮!