FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

原本就很强的Flux,日前公布了一批官方工具,涵盖常用的绘图功能,使其媲美(甚至超过)闭源工具。

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

首先你需要已在ComfyUI中安装最新版本的Flux,安装方法见此:FLUX测试与安装

下面逐项列出在ComfyUI中使用的方法和模型/工作流的下载路径。

一、Flux重绘(Fill Inpainting)

需要下载flux1-fill-dev.safetensors这个模型:

https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

将下载的模型放在ComfyUI/models/diffusion_models/文件夹下。

下载Flux重绘工作流:

https://education.civitai.com/wp-content/uploads/2024/08/Flux-Fill-Basic-Workflow-Inpaint.zip

解压后,将扩展名为json的文件拖到ComfyUI界面,就得到下面的工作流:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

用这张图进行测试:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

在ComfyUI的Load Image窗口中,右键点击图像,选择“Open in MaskEditor”,然后在要修改的部分涂抹:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

完成后点击“Save to node”保存:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

之后填写关键词,把人物换成金发碧眼的泳装女郎,开始生成:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

再比如把这个女生拿的大刀,重绘成大锤:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

或是在天空添加一艘飞船:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

二、Flux扩图(Fill Outpainting)

用到的模型和上面一样,也是flux1-fill-dev.safetensors。工作流从这里下载:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Fill-Basic-Workflow-Outpaint.zip

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

操作和重绘差不多,唯一需要注意的是“Pad Image for Outpainting”窗口,这里控制扩图范围,比如下图是左边扩展400像素,右边扩展400像素:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

官方扩图工具的效果相当好,下面看几个测试结果:

将背景的沙滩延伸

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

扩展后汽车内部装饰基本符合逻辑

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

二次元扩图表现也不错

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

真人电影剧照,加入提示词“后方摆放摩托车”

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

提示词中加入“床上坐着穿西装的男人”,难辨真伪

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

三、Flux风格参考(Redux)

下载sigclip_vision_patch14_384.safetensors模型:
https://huggingface.co/Comfy-Org/sigclip_vision_384/blob/main/sigclip_vision_patch14_384.safetensors

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

将该模型放在ComfyUI/models/clip_vision/文件夹。

下载flux1-redux-dev.safetensors模型:
https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev/tree/main

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

将该模型放在ComfyUI/models/style_models/文件夹。

下载Flux风格参考工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Redux-Basic-Workflow.zip

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

风格参考主要作用是在当前图像基础上,生成相似的变体,比如下面的例子:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

另外,风格参考还可以同时引入多幅图像。

多图工作流下载页面:
https://openart.ai/workflows/salmonrk/multi-flux-redux---mix-2-image-by-flux-redux/1tCNHnqfolXUUJxIjXcW

多图可以产生一些有趣的效果,比如让女孩背上大刀:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

让两个角色的特征产生融合:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

真人变成二次元,放在动漫背景里:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

四、Flux ControlNet

ControlNet是AI绘画不可缺少的模型,这次Flux推出了自有版本,包括Canny(边缘检测)和Depth(深度控制)。

Canny下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev/tree/main

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

Canny LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev-lora/tree/main

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

Depth下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev/tree/main

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

Depth LoRA下载地址:
https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev-lora/tree/main

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

注意,LoRA版本是从完整版中提取,容量更小,效率更高,效果需要自行对比体会。

Canny工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Canny-Basic-Workflow.zip

Depth工作流:
https://education.civitai.com/wp-content/uploads/2024/08/Flux-Depth-Basic-Workflow.zip

简单看一下效果,Canny可以较好的保留原图的整体结构,并做出修改:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

Depth则更适合用来控制图像中的景深效果:

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

FLUX“官方版ControlNet”来了,Flux官方重绘、扩图、风格参考常用的绘图功能媲美(甚至超过)闭源工具

总的来看,Flux这批官方工具包的效果出色,如果你是AIGC爱好者,必不可错过!

文章涉及的网址:

Flux工具官方网站:
https://blackforestlabs.ai/#get-flux

ComfyUI代码页面:
https://github.com/comfyanonymous/ComfyUI

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
百科

AI脱衣服来了,试试虚拟试脱TryOffDiff从照片中获取模特衣服

2024-12-2 10:19:52

教程百科

最强AI绘画开源工具FLUX,本地部署安装教程

2024-12-2 10:39:53

搜索