最近 Flux 爆火,人物写真更加逼真、细腻,这些图片你能看出来是 AI 生成的吗?
甚至还能精准控制生成的文字,比如在手上和纸上写:I am not real.
无论是单人还是多人,脸部打光、肌肤纹理、毛发,都很难看出破绽。
而这样的逼真图片,使用 Flux 就可以轻松生成:
今天手把手教学,教大家如何使用 Flux。
Flux 初体验
前 Stability AI 核心成员 Robin Rombach 创立了一个新的公司:“黑森林实验室”,并且获得了 3200 万美元的融资。
Flux 就是他们发布的作品,黑森林实验室(Black Forest Labs)Flux.1 模型家族包含以下三个变体:
- Flux.1 [pro]:这是Flux.1的顶级版本,提供最先进的图像生成性能,但是模型不开源;
- Flux.1 [dev]:开源的模型,但是不能商用;
- Flux.1 [schnell]:这是Flux.1模型家族中最快的模型,专为本地开发和个人使用优化。
目前 ComfyUI 已经集成了 Flux,可以在 ComfyUI 上部署体验。
所以今天教学分为两个部分,ComfyUI 安装和 Flux 安装。
1、ComfyUI 的安装
ComfyUI 的安装可以说是非常简单了,打开 releases 地址:
https://github.com/comfyanonymous/ComfyUI/releases
就能看到最新的启动包,下载好这个。
就能看到这些文件了,双击 run_nvidia_gpu.bat 就能启动 ComfyUI 了。
如果没有 N 卡,可以使用 run_cpu.bat,只用 CPU 启动 ComfyUI。
运行成功后,它就会自动打开使用页面,像这样:
使用 ComfyUI 有个必安装的插件,ComfyUI-Manager。
安装方法很简单,我们打开一个电脑,进入到 ComfyUI 项目根目录:
终端
可以看到我的 ComfyUI 存放到了目录下,接着我们进入到 custom_nodes 目录下,使用指令:
F:\Code\ComfyUI_windows_portable
cd .\ComfyUI\custom_nodes\
像这样:
然后克隆 ComfyUI-Manager 项目到本地,使用指令:
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
然后重启 ComfyUI 就能在右下角看到这个 Manager 了:
这就表明 ComfyUI 准备就绪了。
2、Flux
ComfyUI 已经提供了 Flux 的部署教程,这个是 demo:
https://comfyanonymous.github.io/ComfyUI_examples/flux/
我们一共需要下载 4 样东西:
- t5xxl_fp16.safetensors:放在 ComfyUI/models/clip/ 目录下
- clip_l.safetensors:放在 ComfyUI/models/clip/ 目录下
- ae.safetensors:放在 ComfyUI/models/vae/ 目录下
- flux1-dev.safetensors:放在 ComfyUI/models/unet/ 目录下
t5xxl_fp16.safetensors 和 clip_l.safetensors 下载地址:
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
t5xxl 分为 fp16 和 fp8,如果你内存超过 32GB,那就用 fp16 的,如果没超过,那就用 fp8 的。
ae.safetensors 和 flux1-dev.safetensors 下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
如果 GPU 性能不足、显存不够,可以使用 fp8 的量化版模型,速度会快很多,下载地址:
https://huggingface.co/Kijai/flux-fp8/tree/main
把这 4 个模型,放到对应的目录下就可以了。
最后我们再下载一张官方的图片:
https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png
一定要使用这个链接,下载图片。
我们打开 ComfyUI,把这个图片拖拽到 ComfyUI 里:
你就会发现,你打开了 Flux 的整个节点工作流:
这是因为图片里不仅保存图片本身的信息,还保存了工作流的各个节点的信息。
我们点击 Queue Prompt 运行整个工作流:
稍等片刻,就能看到生成的图片了:
我是 RTX 4090,加载好模型后,只跑 Clip Text Encode 部分,1024 * 1024 的图片,跑一张图大概 20 秒。
这个是 ComfyUI 的官方工作流,也可以使用其它作者发布的 Flux 工作流,比如这个:
https://openart.ai/workflows/shark_better_98/realism-no-lora/3EhdlEU8Edh3xgjYsIQD
这是一个写实人物的工作流,我们选择下载:
会下载一个 json 文件,这个文件里保存了工作流信息。
我们还是把 json 文件拖拽到 ComfyUI 里:
这个工作流就更新了:
如果有些节点是红色的,处于报错的状态,像这样:
那说明还需要安装一下对应的插件,点击 Manager -> Install Missing Custom Nodes,安装缺失的节点即可:
这可以解决绝大多数红色的节点,如果还有红色报错,那说明 Manager 工具没有收录这个,可以通过 URL 进行安装,比如 ComfyUI-Saveaswebp 节点就不能通过 Manager 安装。
那么可以去 Github 搜索下 ComfyUI-Saveaswebp 的地址:
https://github.com/Kaharos94/ComfyUI-Saveaswebp
可以选择 Manager->Install via Git URL,安装这个工具:
如果提示不安全,可以直接打开custom_nodes\ComfyUI-Manager\config.ini
修改 security_level = weak 就可以了。
都配置完成后,点击 Queue Prompt 运行工作流。
这效果还是非常惊艳的!
最后生成的图片,还可以结合视频生成方法,还能进一步生成 AI 视频。
如果本期内容喜欢的人多,继续出一些 Flux 结合 AI 视频的制作教程。