专栏名称: AI生成未来
AIGC最新技术及资讯
51好读  ›  专栏  ›  AI生成未来

群雄逐鹿!“百模”并起,王者之战~!SD创始团队黑马的Flux真的那强吗?SD Flux与华为ultrapixel大PK

AI生成未来  · 公众号  ·  · 2024-08-06 01:01

正文

点击下方 卡片 ,关注“ AI生成未来

大家都在试玩Flux,真的有那么震撼么?今天主要简单介绍下 Flux以及ComfyUI的安装,重点是和我们“ 遥遥领先 ”的华为开源的ultrapixel进行下对比。没有对比就没有伤害!

大家应该对 Flux也有了初步了解,但老徐还是先简单介绍下。

基本介绍:

简单看了下官方介绍,Flux 是迄今为止最大的 SOTA 开源文本到图像模型,这个没毛病,确实是迄今为止最大的!

FLUX.1 [schnell]拥有 120 亿个参数的整流转换器,能够根据文本描述生成图像。

FLUX.1 从模型架构上看,它和之前的SD3有很多相似之处,它们都是基于FlowingMatching调度的模型,通过引入T5来增强prompt的依从性。两者较显著的区别在于: FLUX.1 引入了一种叫DoubleStreamBlock的结构,具体来说在前几层layer中,采用了txt和img embedding独立过各自的transformer块,然后再拼到一起过统一的transformer块,有人推测这是为了进一步对齐图像和文本特征,但是这部分还没有更具体的技术报告。

主要功能:

  • 增强的图像质量:

  • 以更高分辨率生成令人惊叹的视觉效果。

  • 先进的人体解剖和逼真度:实现高度逼真和解剖精确的图像。

  • 改进的及时性:根据输入获取更准确、更相关的图像。

  • 卓越的速度:受益于 Flux Schnell 的速度和效率,是高要求应用的理想选择。


FLUX.1三种型号: FLUX.1 [schnell],FLUX.1 [dev],FLUX.1 [pro]

版本

链接

License

说明
FLUX.1 [schnell]

https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell

apache-2.0

开源且拥有非商业许可,供社区在此基础上进行构建
FLUX.1 [dev] https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev

FLUX.1-dev Non-Commercial License

基础模型的精简版,4步出图,运行速度提高了 10 倍。
FLUX.1 [pro]

https://replicate.com/black-forest-labs/flux-pro


闭源版本 官方闭源仅可通过API访问

ComfyUI安装:

  1. 更新ComfyUI到最新版本

  2. 下载所需模型

  • FLUX UNET模型下载
schnell版本
https://hf-mirror.com/black-forest-labs/FLUX.1-schnell/tree/main
Dev版本:
https://hf-mirror.com/camenduru/FLUX.1-dev/tree/main
建议下载 fp8,老徐觉得毕竟日常大家的显存都很少有超过20G以上的。 fp8模型也可以在lib上下载,有人已经上传上去了,老徐也就不传了。
下载地址:
https://www.liblib.art/modelinfo/de40ff893256477bbb1bb54e3d8d9df6
模型下载后存放到目录ComfyUI/models/unet/ 下。
  • T5文本编码模型x下载
T5文本编码模型t5xxl_fp8_e4m3fn.safetensors 下载地址:
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
如果你没有clip_l.safetensors 也可以一并下载,下载后存放到ComfyUI/models/clip/ 目录。
VAE模型ae.sft下载
下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft
ae.sft 下载后存放到ComfyUI/models/vae/目录
3.导入基本工作流
工作流可以采用导入官方图片的形式也可以直接下载相关工作流文件导入。
工作流文件下载地址:
https://www.liblib.art/modelinfo/ec6223dccd7b47658464eaf7b94d7dc5

好了以上准备工作准备完成之后基本上就可以玩起来了!

如果你不想本地操作那么麻烦,也可以使用在线体验。在线体验链接:
https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell

都准备完了,那就试试和 华为开源的ultrapixel进行下对比如何 ?关于出图 老徐均采用了一次抽卡。关于 ultrapixel






请到「今天看啥」查看全文