专栏名称: 小互AI
XiaoHu.AI-在小互AI学院(http://xiaohu.ai)学习如何让AI为你服务。加入小互AI学院,通过日常工作流AI教程、社群和1V1支持,学习如何使用AI。
目录
相关文章推荐
ZaomeDesign  ·  深圳新地标!Aedas新作打造前海新封面 ·  21 小时前  
庞门正道  ·  这种温馨插画,女生看了都爱上! ·  2 天前  
庞门正道  ·  3年工作经验就一定值15000吗? ·  3 天前  
龙视新闻联播  ·  微信又上新功能!网友:“王炸组合” ·  2 天前  
龙视新闻联播  ·  微信又上新功能!网友:“王炸组合” ·  2 天前  
食业家  ·  单品增长382%,西梅产品卖爆了 ·  3 天前  
食业家  ·  单品增长382%,西梅产品卖爆了 ·  3 天前  
51好读  ›  专栏  ›  小互AI

只需在图像上画几笔即可轻松编辑图像 支付宝推出AI驱动的智能图像编辑系统

小互AI  · 公众号  · 设计 互联网短视频  · 2024-11-23 21:11

主要观点总结

MagicQuill是一个由支付宝和香港大学联合开发的智能互动图像编辑系统。它通过直观的界面和AI驱动的功能,实现快速而精准的图像修改。系统集成了多模态大语言模型,实现实时意图预测,免去复杂的文字输入。用户只需简单的笔触操作,即可完成复杂的图像编辑任务。

关键观点总结

关键观点1: 智能图像编辑功能

MagicQuill提供添加、删除和颜色调整笔刷,用户可以通过简单的手势操作,实现图像的精准编辑,如添加新元素、移除对象、调整颜色等。

关键观点2: 实时意图预测

MagicQuill通过多模态大语言模型,实时理解用户的操作意图,自动猜测并生成符合用户意图的图像编辑结果,提升编辑效率。

关键观点3: 丰富的编辑工具

MagicQuill提供模块化设计,包含工具栏、画布和预览区域,支持跨平台运行。提供多种笔刷工具、橡皮擦、图层管理等,方便用户自由发挥创意。

关键观点4: 多种风格模型支持

MagicQuill支持多种生成风格模型,如写实、梦幻、动漫等,用户可以根据需求选择适合的模型进行编辑。

关键观点5: 高级参数调整

对于有经验的用户,MagicQuill还提供高级参数调整功能,如细节控制、笔触影响范围、颜色强度等,以满足更精细的生成控制需求。


正文

目前的图像编辑软件都太过繁琐和上手难度较高,对普通用户来说,非常的不友好。

即使随时AI技术的反正,一些AI图像编辑工具仍然是非常难以上手。

对普通用户来说一直期待的一种AI图像编辑工具是: 我随便点点,说出我的需求即可帮我实现自动编辑 ,无需操作复杂的步骤。

现在这种东西出现了...

MagicQuill :由支付宝和香港大学联合开发的一个功能强大的智能互动图像编辑系统,通过直观的界面和 AI 驱动的功能,实现快速而精准的图像修改。

该系统集成了多模态大语言模型 (MLLM), 实现 实时意图预测 ,从而免去复杂的文字输入。

基于用户的操作,系统会 智能生成相关提示 支持连续的编辑 流程。

只需简单的笔触操作,即可轻松完成如添加新元素、移除对象、调整颜色等复杂的图像编辑任务。

简单来说就是, 你可以用画笔随便在你需要修改的图像上画几笔,然后这个工具会通过 AI 自动帮你把图片变成你想要的样子!

比如:
  • 添加东西:想给图片里的人加一顶帽子?用笔刷画个大概的形状,输入提示词,它会自动生成一顶帽子。


  • 删除东西:不想要图片里的某个物品?用擦除笔刷涂掉它,AI 会自动修补背景,看起来就像那个物品从来没存在过。



  • 改颜色:不喜欢图片里的颜色?用颜色笔刷涂一下,比如把粉色花变成蓝色。


    更改你的发型和发色

更多案例:

更改背景和你的服装

把你变成肌肉男

给你添加发饰

帮你脱裤子

给你换个衣服

操作流程也非常简单
  1. 上传图片:选择需要编辑的图片,或使用内置画布开始创作。
  2. 选择笔刷工具:
  • 根据需求选择添加、删除或颜色笔刷。
  • 使用笔刷在画布上绘制。
  • AI 实时生成:
    • 系统根据笔触和提示生成相应的图像编辑结果。
    • 用户可修改提示以优化效果。
  • 调整参数:
    • 使用高级参数调整生成结果的细节,如边缘强度、颜色范围等。
  • 保存或继续编辑:
    • 确认满意后保存结果,或进行进一步编辑。

    测试结果
    MagicQuill 核心模块和功能

    1. 编辑处理器 (Editing Processor)

    编辑处理器是系统的核心模块,负责实际的图像编辑任务, 通过对用户笔触信号的解读,实现高精度的图像修改。
    添加元素(Add Brush)
    • 作用:通过笔刷在图片上绘制轮廓,AI 自动生成指定的新元素。
    • 特点:
      • 用户只需简单地画几笔,AI 会根据笔触和提示推测用户的意图。
      • 可生成动物、装饰物或其他物体,并自动匹配图片的风格和细节。
    应用案例
    • 案例 1:给人物添加饰品
      上传一张肖像图片,使用添加笔刷画一个简单的圆环,AI 会生成一条逼真的项链,并与人物的脖子自然贴合。
    • 案例 2:为风景增添元素
      在一片森林画几笔作为小鹿的轮廓,AI 自动补全“一只生动的小鹿便栩栩如生。"且与背景融为一体。
    删除元素(Subtract Brush)
    • 作用:通过擦除笔刷,去掉图片中的不需要的部分,并自动修补空白区域。
    • 特点:
      • AI 根据周围环境自动填补被删除部分,保持图片整体一致性。
      • 适合移除多余物体、错误细节或干扰元素。
    应用案例
    • 案例 1:去掉多余的物品
      “让我们把骷髅先生的帽子脱掉,帮他降温。”

    • 案例 2:细节调整
      上传一张海豚图片,发现海豚有多余的尾鳍。用删除笔刷涂掉多余的尾鳍,AI 会重新绘制海豚尾部,看起来毫无违和感。
    &

    结合 加法和减法画笔 来创造惊人的组合效果!

    "让我们给蒙娜丽莎一只宠物猫~"
    “让我们把这个帅哥的领带换成领结!”
    颜色调整(Color Brush)
    • 作用:使用颜色笔刷在图片中指定区域上色或改变已有颜色。
    • 特点:
      • 支持精准上色,用户可选择任意颜色。
      • 可调整颜色强度,让效果更细腻。
      • 自动匹配图片的光影和风格,避免人工上色的生硬感。
    应用案例
    • 案例 1:改花的颜色
      改变蛋糕上花的颜色 “你不觉得蓝色花朵看起来比粉色花朵更梦幻吗?”
    • 案例 2:人物妆容调整
    • 精确的颜色高亮 - 精确涂抹您想要上色的地方,改变头发的一部分颜色,同时还能剪短头发

    2.绘画助手 (Painting Assistor)

    绘画助手是 MagicQuill 的智能化核心,通过 实时理解用户的操作意图,大幅简化编辑流程。
    也就是工具会 猜测你的意图 ,比如你画了一条线,它会问你“这是路径还是藤蔓? ” 如果猜错了,你可以改掉它。
    智能猜测与修正
    • 作用:AI 根据用户的笔触自动猜测编辑意图并生成内容,用户可以手动修改 AI 的猜测。
    • 特点:
      • 提升编辑效率,无需从零输入复杂的文本提示。
      • 如果猜测错误,用户可更正提示,优化生成结果。
    应用案例
    • 案例 1:路径绘制

      用户在一张花园图片上画了一条线,AI 自动生成了一条小径。如果用户想要生成的是“藤蔓”,可以修改提示,让 AI 重新生成符合意图的内容。

    • 案例 2:识别整体和部分

      你想给人物、机器人或者其他人物增加其他肢体或者部件,它能够识别你的意图来精准添加,毫无违和感。



    功能细节
    1. 实时意图预测 (Draw&Guess):
    • 分析用户的笔触和上下文图像内容,预测用户的编辑意图。
    • 自动生成符合语义的提示,例如“画出头饰后,系统提示‘花冠’”。
  • 多模态大模型 (MLLM):
    • 基于 LLaVA 模型进行微调,专注于用户笔触的语义解读。
    • 支持连续编辑,减少用户在每一步都需输入文本提示的负担。
  • 自动化提示生成:
    • 系统通过“画与猜”模式,将用户的涂画意图自动转换为编辑命令。
    • 例如,用户画一个圆圈,系统预测“这是一个盘子”并执行相关编辑。
  • 数据增强与语义优化:
    • 构建专用数据集,模拟用户绘画场景,使模型更擅长处理人类手绘输入。
  • 误差处理:
    • 针对模糊或多义的用户输入(例如一个简单的圆形),模型能给出上下文相关的多种猜测。

    3. 创意收集器 (Idea Collector)

    创意采集器(Idea Collector)提供简洁而强大的交互界面,降低学习成本:
    • 模块化设计:
      • 包含工具栏(选择笔刷和参数调整)、画布(实时绘画和修改)、预览区域(查看生成结果)。
    • 跨平台支持:
      • 支持通过 Gradio 和 ComfyUI 等平台运行,适配多种设备。
    特点:
    • 快速上手:适合专业和非专业用户,学习成本低。
    • 功能丰富:提供分层管理和参数调整功能,方便用户自由发挥创意。

    功能细节

    1. 直观操作工具
    • 笔刷工具:
      • 涂鸦笔刷和颜色笔刷,便于用户对图像进行自由绘画式修改。
    • 橡皮擦:
      • 用于精细修正笔触,增强编辑的准确性。
    • 图层管理:
      • 支持管理多个编辑步骤,让用户能够随时撤销或重做修改。
  • 跨平台兼容性
  • 与 Gradio 和 ComfyUI 等生成式 AI 平台兼容。
    通过 ReactJS 组件实现模块化设计,方便未来扩展和集成。

  • 实时生成预览

    • 编辑后的图像实时显示,用户可以在生成结果区域预览修改效果。

    • 提供“确认”和“撤销”功能,确保每一步修改都符合用户意图。

  • 灵活参数调整

    • 用户可调节边缘强度、颜色透明度等参数,以适应不同的编辑需求。

    III. 超实用的画布工具!


    点击此按钮上传您想要编辑的照片~

    用橡皮工具擦掉它就可以了!

    使用光标拖动、旋转和调整您的笔画大小 - 就像在 PowerPoint 中工作时一样!
    &
    左边是 ctrl+z,右边是 ctrl+y - 你知道这意味着什么!😊
    对于 Mac 用户,左边是 command+z,右边是 command+shift+z!😝

    哎呀!这看起来不对 😵 - 点击这个垃圾桶删除这条线

    笔触挡住了我的视线,我怎么能看到图像😡?!试着点击这个按钮暂时隐藏你的笔触
    &
    这两个图标将在图像生成后出现...
    我喜欢这个生成的图像😍,我想继续编辑!➡️ 点击✅继续编辑
    这是什么东西 😡,我不想看到它!➡️ 点击 ❎ 丢弃结果


    IV. 注释


    当你看到左下角的旋转图标时,这意味着魔法羽毛笔仍在充电 💪 等待它消失后再点击运行按钮!







    请到「今天看啥」查看全文