只需在图像上画几笔即可轻松编辑图像 支付宝推出AI驱动的智能图像编辑系统

目前的图像编辑软件都太过繁琐和上手难度较高，对普通用户来说，非常的不友好。

即使随时AI技术的反正，一些AI图像编辑工具仍然是非常难以上手。

对普通用户来说一直期待的一种AI图像编辑工具是： 我随便点点，说出我的需求即可帮我实现自动编辑 ，无需操作复杂的步骤。

现在这种东西出现了...

MagicQuill :由支付宝和香港大学联合开发的一个功能强大的智能互动图像编辑系统，通过直观的界面和 AI 驱动的功能，实现快速而精准的图像修改。

该系统集成了多模态大语言模型 (MLLM)， 实现 实时意图预测 ，从而免去复杂的文字输入。

基于用户的操作，系统会 智能生成相关提示 ， 支持连续的编辑 流程。

只需简单的笔触操作，即可轻松完成如添加新元素、移除对象、调整颜色等复杂的图像编辑任务。

简单来说就是， 你可以用画笔随便在你需要修改的图像上画几笔，然后这个工具会通过 AI 自动帮你把图片变成你想要的样子!

• 添加东西：想给图片里的人加一顶帽子？用笔刷画个大概的形状，输入提示词，它会自动生成一顶帽子。
  

• 删除东西：不想要图片里的某个物品？用擦除笔刷涂掉它，AI 会自动修补背景，看起来就像那个物品从来没存在过。
  

  
  
  

• 改颜色：不喜欢图片里的颜色？用颜色笔刷涂一下，比如把粉色花变成蓝色。
  

  

  
  更改你的发型和发色
  

更改背景和你的服装

把你变成肌肉男

给你添加发饰

帮你脱裤子

给你换个衣服

操作流程也非常简单

1. 上传图片：选择需要编辑的图片，或使用内置画布开始创作。
2. 选择笔刷工具：

• 根据需求选择添加、删除或颜色笔刷。
• 使用笔刷在画布上绘制。

• 系统根据笔触和提示生成相应的图像编辑结果。
• 用户可修改提示以优化效果。

• 使用高级参数调整生成结果的细节，如边缘强度、颜色范围等。

• 确认满意后保存结果，或进行进一步编辑。

1. 编辑处理器 (Editing Processor)

添加元素（Add Brush）

• 作用：通过笔刷在图片上绘制轮廓，AI 自动生成指定的新元素。
• 特点：
• 用户只需简单地画几笔，AI 会根据笔触和提示推测用户的意图。
• 可生成动物、装饰物或其他物体，并自动匹配图片的风格和细节。

• 案例 1：给人物添加饰品
  上传一张肖像图片，使用添加笔刷画一个简单的圆环，AI 会生成一条逼真的项链，并与人物的脖子自然贴合。

• 案例 2：为风景增添元素
  在一片森林画几笔作为小鹿的轮廓，AI 自动补全“一只生动的小鹿便栩栩如生。"且与背景融为一体。

删除元素（Subtract Brush）

• 作用：通过擦除笔刷，去掉图片中的不需要的部分，并自动修补空白区域。
• 特点：
• AI 根据周围环境自动填补被删除部分，保持图片整体一致性。
• 适合移除多余物体、错误细节或干扰元素。

• 案例 1：去掉多余的物品
  “让我们把骷髅先生的帽子脱掉，帮他降温。”

• 案例 2：细节调整
  上传一张海豚图片，发现海豚有多余的尾鳍。用删除笔刷涂掉多余的尾鳍，AI 会重新绘制海豚尾部，看起来毫无违和感。

&

颜色调整（Color Brush）

• 作用：使用颜色笔刷在图片中指定区域上色或改变已有颜色。
• 特点：
• 支持精准上色，用户可选择任意颜色。
• 可调整颜色强度，让效果更细腻。
• 自动匹配图片的光影和风格，避免人工上色的生硬感。

• 案例 1：改花的颜色
  改变蛋糕上花的颜色 “你不觉得蓝色花朵看起来比粉色花朵更梦幻吗？”

• 案例 2：人物妆容调整
• 精确的颜色高亮 - 精确涂抹您想要上色的地方，改变头发的一部分颜色，同时还能剪短头发

2.绘画助手 (Painting Assistor)

智能猜测与修正

• 作用：AI 根据用户的笔触自动猜测编辑意图并生成内容，用户可以手动修改 AI 的猜测。
• 特点：
• 提升编辑效率，无需从零输入复杂的文本提示。
• 如果猜测错误，用户可更正提示，优化生成结果。

• 案例 1：路径绘制
  
  用户在一张花园图片上画了一条线，AI 自动生成了一条小径。如果用户想要生成的是“藤蔓”，可以修改提示，让 AI 重新生成符合意图的内容。

• 案例 2：识别整体和部分
  
  你想给人物、机器人或者其他人物增加其他肢体或者部件，它能够识别你的意图来精准添加，毫无违和感。
  
  
  
  
  

  

功能细节 ：

1. 实时意图预测 (Draw&Guess)：

• 分析用户的笔触和上下文图像内容，预测用户的编辑意图。
• 自动生成符合语义的提示，例如“画出头饰后，系统提示‘花冠’”。

• 基于 LLaVA 模型进行微调，专注于用户笔触的语义解读。
• 支持连续编辑，减少用户在每一步都需输入文本提示的负担。

• 系统通过“画与猜”模式，将用户的涂画意图自动转换为编辑命令。
• 例如，用户画一个圆圈，系统预测“这是一个盘子”并执行相关编辑。

• 构建专用数据集，模拟用户绘画场景，使模型更擅长处理人类手绘输入。

• 针对模糊或多义的用户输入（例如一个简单的圆形），模型能给出上下文相关的多种猜测。

3. 创意收集器 (Idea Collector)

• 模块化设计：
• 包含工具栏（选择笔刷和参数调整）、画布（实时绘画和修改）、预览区域（查看生成结果）。
• 跨平台支持：
• 支持通过 Gradio 和 ComfyUI 等平台运行，适配多种设备。

• 快速上手：适合专业和非专业用户，学习成本低。
• 功能丰富：提供分层管理和参数调整功能，方便用户自由发挥创意。

功能细节 ：

1. 直观操作工具 ：

• 笔刷工具：
• 涂鸦笔刷和颜色笔刷，便于用户对图像进行自由绘画式修改。
• 橡皮擦：
• 用于精细修正笔触，增强编辑的准确性。
• 图层管理：
• 支持管理多个编辑步骤，让用户能够随时撤销或重做修改。

• 编辑后的图像实时显示，用户可以在生成结果区域预览修改效果。

• 提供“确认”和“撤销”功能，确保每一步修改都符合用户意图。

• 用户可调节边缘强度、颜色透明度等参数，以适应不同的编辑需求。

III. 超实用的画布工具！

&

&

IV. 注释