FLUX.1最强AI绘画开源新模型,本地部署教程!

Flux最近收到了很多模型爱好者的好评,出图质量超越SD3和MJ,许多人说Flux才是大家心目中的SD3,所以我也是非常好奇FLux的实力,顺便把安装的过程分享给大家

官网参考图:

FLUX.1最强AI绘画开源新模型,本地部署教程!

Flux官网首页:https://blackforestlabs.ai/

人工智能初创公司 Black Forest Labs成立公司并发布其首套文本转图像人工智能模型 FLUX.1。这家总部位于德国的公司由开发Stable Diffusion的研究人员创立,旨在为图像和视频创建先进的生成式人工智能。

模型一共分三款,包含pro版、dev版、schnell版。

Black Forest 的图表声称其 Pro 和 Dev 模型是迄今为止最好的图像生成器,而其功能较弱的 Schnell 排名介于 Midjourney v5 和 Ideogram 之间。

FLUX.1最强AI绘画开源新模型,本地部署教程!

这三个版本说明:

  • Pro版本效果最好,但是闭源,API收费的。
  • Dev版本开源但是不可商用,至少需要24G显存运行。
  • Schnell版本开源可商用

如果你想要在线体验,也有在线的网站:

schnell :https://replicate.com/black-forest-labs/flux-schnell

dev:https://replicate.com/black-forest-labs/flux-dev

pro:https://replicate.com/black-forest-labs/flux-pro

本地部署

目前ComfyUI最新版本已经兼容FLux模型了, 只需内核升级到最新即可体验。

所以我们首先把ComfyUI给更新了

如果你用的是官方的comfyUI整合包就点这个更新

FLUX.1最强AI绘画开源新模型,本地部署教程!

如果你用的是秋叶的启动器就按下图示例更新内核

FLUX.1最强AI绘画开源新模型,本地部署教程!

显存太低的人本地估计运行很可能,我本地电脑配置还行,这里体验下schnell版本。

下载大模型:https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

该链接提供了23.8g的大模型和335MB的Vae模型,我们需要把这两个都下载

  • 下载完成后将大模型放在:ComfyUI/models/unet/ 文件夹中。
  • VAE应该放在您的 ComfyUI/models/vae/ 文件夹中。
FLUX.1最强AI绘画开源新模型,本地部署教程!

如果电脑配置一般的可以下载Flux-fp8精简版,只有11.9GB:https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors

Vae还是通用的ae.sft

FLUX.1最强AI绘画开源新模型,本地部署教程!

我们除了大模型和Vae还需要下载Clip模型:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

这其实就是SD3的Clip模型,配置好我们选择fp16,配置一般我们选择fp8,clip_l是一定要下载的

下载完我们放在:ComfyUI\models\clip 该文件夹内

FLUX.1最强AI绘画开源新模型,本地部署教程!

以上的大模型,VAE,Clip都安装完成后我们就可以运行我们的工作流了,官网提供了一个简易的comfyUI工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/

我们把官网提供的图片保存下来

FLUX.1最强AI绘画开源新模型,本地部署教程!

再把图片拖进ComfyUI中即可,进入工作流我们确保模型加载没问题就可以点击加入队列等待生成了。

FLUX.1最强AI绘画开源新模型,本地部署教程!

生图效果

提示词1:a bottle with a rainbow galaxy inside it on top of a wooden table on a table in the middle of a modern kitchen

FLUX.1最强AI绘画开源新模型,本地部署教程!

总结

整体来说,测试下来效果还是很不错的,FLUX 比 SD3 强。

  1. 手部生成比较稳定,较少出现手脚畸形。
  2. 蒸馏版出图速度快, 30 秒内即可完成。 Dev版虽然出图比较久但是出图质量更好。
  3. 模型兼容性强:无论是二次元、人像、写实、还是风景风格,效果都很好。

 

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
教程百科

如何利用AI绘图,即梦AI生成角色一致性高、多种表情动作的卡通人物组图

2024-8-6 11:57:09

教程百科

ComfyUI使用中文提示词,手把手教你用中文代替提示词

2024-8-7 14:41:46

搜索