今天文章给大家介绍一款最新的优秀的虚拟试穿解决方案:catvton-flux,这是一款结合了 CATVTON(CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models) 的强大功能和Flux重绘修复模型,以实现真实且准确的衣物转移。同时catvton-flux解决方案还受到阿里In-Context LoRA提示工程的启发。
- Github:https://github.com/nftblackmagic/catvton-flux
- catvton-flux-alpha模型:https://huggingface.co/xiaozaa/catvton-flux-alpha/tree/main
- catvton-flux-lora-alpha模型:https://huggingface.co/xiaozaa/catvton-flux-lora-alpha
在ComfyUI插件管理器中通过Git安装来安装ComfyUI-CatvtonFluxWrapper插件。还需科学自动下载模型,导入工作流即可开始体验。
- ComfyUI-CatvtonFluxWrapper插件:https://github.com/lujiazho/ComfyUI-CatvtonFluxWrapper
- sam2-safetensors:下载模型并放置目录/ComfyUI/models/sam2 。下载地址:https://huggingface.co/Kijai/sam2-safetensors/blob/main/sam2_hiera_tiny.safetensors
- xiaozaa/catvton-flux-lora-alpha:模型将自行下载放置到huggface的cache目录。下载地址:https://huggingface.co/xiaozaa/catvton-flux-lora-alpha/tree/main
Flux文生图工作流
Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流:FLUX[续篇]:12B参数23G最大开源文生图模型,Dev版直出惊艳美图欣赏
本文涉及ComfyUI工作流和模型均可在LIBLIBAI上下载或在线运行体验:
• F.1-绮梦流光-水湄凝香:
https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b
• 工作流-Flux文|图生图+LORA+提示反推一键切换工作流:
https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8
catvton-flux虚拟换衣工作流
catvton-flux虚拟换衣工作流已上传LIBLIB平台:
https://www.liblib.art/modelinfo/c4286818494747b284d0f0ab78d88d0b?versionUuid=5a527b0d2f084af487bd6d3d0c6571c4
注意:
- catvton-flux包含大模型和LORA实现方式,大模型方式需要大于40G显存。对于消费级显存还需坐等社区GGUF量化版本。
- LORA实现方式包含两种主体人物遮罩识别方式:手工涂抹和SAM2识别,读者可以自行选择对应方式测试。
- 在线体验方式:https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on