第十五期生图新王FLUX.1

FLUX.1 介绍

什么是FLUX.1？

FLUX.1 是由 Black Forest Labs（黑森林实验室，官网：https://blackforestlabs.ai/）开发的一个先进的开源文本到图像生成模型。

Black Forest Labs 是一个由Stability AI的前核心成员Robin Rombach创立的新兴团队，虽然对许多人而言还颇为陌生，但其成员多数来自Stable Diffusion的原班人马，因此拥有强大的生成模型研发实力。

该实验室已经成功筹集到3200万美元的资金，致力于开发尖端的生成式深度学习模型，用于图像和视频等多媒体领域，并力图树立新的行业标杆。FLUX.1模型套件的推出，标志着他们朝着这一宏伟目标迈出了坚实的第一步。

模型版本介绍

FLUX.1模型套件由三个不同版本的模型组成，各有其特点和应用场景：

FLUX.1 [pro]：闭源模型代表着最高端的性能标准。它拥有顶尖的提示词识别能力、卓越的视觉质量和图像细节处理能力，以及丰富的输出多样性。用户可以通过注册官方API来获取访问权限，并且该模型还提供定制化服务以满足企业需求。

FLUX.1 [dev]：开源不可商用

作为开源模型，它虽然不能用于商业用途，但继承了[pro]版本的优秀图像质量和提示词处理能力，同时在效率上进行了优化，使其更加高效。

FLUX.1 [schnell]：开源可商用

同样是开源模型，但与[dev]不同，它允许商业使用。专为本地开发和个人用户设计，它在生成速度上具有明显优势，同时对内存的占用也是最小的。

FLUX.1模型的训练参数达到了120亿，这一数字远远超过了SD3 Medium的20亿参数。

根据官方资料，无论是FLUX.1 [pro]还是[dev]，在图像质量、提示词的准确跟随、尺寸适应性、排版以及输出的多样性方面，都已经超越了市场上的Midjourney v6.0、DALL·E 3 (HD)和SD3-Ultra等流行模型，确立了图像合成技术的新高度。

模型下载

主模型下载

在dev或者schnell的huggingface地址中下载模型。

下载后放在comfyui\models\unet文件夹中。

FLUX.1 [dev] 模型：https://huggingface.co/black-forest-labs/FLUX.1-dev

FLUX.1 [schnell] 模型：https://huggingface.co/black-forest-labs/FLUX.1-schnell

VAE下载地址

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft

下载后，放在comfyui\models\vae文件夹中.

CLIP下载地址

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

官方提供了clip_l.safetensors，还有t5xxl的FP8和FP16的两种精度的clip模型供选择，大家根据电脑配置任选FP8或者FP16精度下载就可以，经过经验FP8效果并不差，足够用。

下载后，放在comfyui\models\clip文件夹中.

GitHub仓库：https://github.com/black-forest-labs/flux

百度网盘链接：https://pan.baidu.com/s/1VPQedispwtR29kDrhGR10A?pwd=4iwj

低显存方案（8G以下）

ComfyUI BitsandBytes_NF4 Flux模型解决显卡显存是6-8G的，FLUX的运行，使用

下载慢的可以从网盘里下（上面百度网盘里也有）.

模型与工作流地址

https://pan.quark.cn/s/2797ea47f691

工作流

Flux低显存优化-CY-V1(1).json

FLUX_BitsandBytes_NF4-CY-V1(1).json

FLUX_BNB_NF4放大-CY-V2.json

安装

flux1-dev-bnb-nf4.safetensors

放入ComfyUI\models\checkpoints文件夹内

https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/blob/main/flux1-dev-bnb-nf4.safetensors

ComfyUI_c_NF4节点

https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

注：如果报错，请更新BitsandBytes库

下载放入解压后ComfyUI\custom_node文件夹内

重启ComfyUI，如果之前没更新，更新后再重启。

在ComfyUI里的使用

ComfyUI工作流

文生图

flux文生图.json

flux生图+放大.json

Flux.1 文生图AuraSR放大.json

图生图

SD1.5+FLUX.json

Lora

XLabs-AI 发布了6 个不同 Lora：

mjv6_lora - Midjourney 风格

示例：

A full-profile portrait of a Chinese dancer poised on a moonlit stone bridge, surrounded by the delicate blooms of a cherry orchard. Her silk garments ripple with her movement, her eyes are focused and intense, with skin details on her face. She's part of a scene inspired by classical poetry, her fluid motions a dance of elegance. The luminance is delicate and dreamlike, bestowing a soft ambience

realism_lora - 写实风格

示例：

In a conference room setting, a beauty women dressed in business attire are attending a meeting，random expressions, postures, and physical characteristics

a RAW ultra-realistic photo, UHD, 8k

anime_lora - 动漫风格

示例

1girl

disney_lora - 迪斯尼风格

示例：

1cat,catoon,disney,

scenery_lora - 风景风格

示例：

A breathtaking view of the Himalayas mountain range, showcasing its majestic and serene beauty. The mountains are covered in snow, with their peaks reaching towards the sky, creating a stunning contrast with the blue horizon. The range is vast and imposing, with numerous towering peaks, including Mount Everest, the highest point on Earth. The scene captures the grandeur and tranquility of the Himalayas, with sunlight casting a soft glow on the snow-covered slopes. The foreground shows the rugged terrain and lush greenery of the lower elevations, adding to the diverse and spectacular landscape.

art_lora - 艺术风格

Cat, European street, exploration, cozy, mysterious, colorful buildings, sunlight through leaves, cobblestone path, high definition, watercolor painting, warm tones, bright lighting effects, paper texture

Lora下载地址：https://hf-mirror.com/Kijai/flux-loras-comfyui/tree/main/xlabs

Lora使用方法

1、下载lora文件

2、放入comfy/models/loras文件夹内

3、使用下面工作流（其实就是上面文生图基础工作流加上一个简易Lora加载器），加载你需要的Lora风格

flux1+lora加载.json

在线免费体验

官网

https://flux1.ai/flux-ai-image-generator

注：不用登录也可以使用，用的是FLUX.1 [schnell]

魔搭

https://www.modelscope.cn/studios/muse/flux_dev

支持FLUX.1 [dev]

POE

https://poe.com/search?q=flux

POE同时支持FLUX.1 [schnell]，FLUX.1 [dev]，FLUX.1 [pro]，不过FLUX.1 [pro]需要开通订阅才能用，FLUX.1 [schnell]每天可以免费用40次，FLUX.1 [dev]每天可以免费用4次

硅基流动

https://cloud.siliconflow.cn/playground/text-to-image

目前免费支持FLUX.1 [schnell]，FLUX.1 [dev]，似乎没有额度限制

flupro

评论区提供的，目前三个版本均不限量

https://fluxpro.fun/

免费API

阿里云灵积免费的FLUX API，适合开发者接入

接入comfyui提供更好的安装使用体验
接入agent 工具生态方便llm调用
对接图生视频工具做更好的文生视频

https://help.aliyun.com/zh/dashscope/developer-reference/flux-quick-start

注：除了为 FLUX 系列模型提供服务化支撑外，还针对 FLUX 文生图模型实施了中文 Prompt 的适应性优化。此番调整确保了模型能够深刻理解并精准响应中文指令，进而生成与英文 Prompt 同等质量的图像成果。

案例展示

提示词	图片
A pickup truck going up a mountain switchback
Man snowboarding on the mars, ultra high resolution 8k
donut jesus hybrid mythical creature
a tiny astronaut hatching from an egg on the moon
A high-resolution photograph of a weathered,historical brick wall with a rough, hammer-carved inscription of "Never give up onyourdreams",8k,realistic