CatVTON是中山大学开源的一款简单高效的虚拟试戴扩散模型,效果还挺不错的,今天就教大家怎么本地部署和搭建工作流
本地部署
首先在 ComfyUI 管理器中搜索:ComfyUI_CatVTON_Wrapper,然后安装重启
或者如果网络不好也手动安装
项目地址:https://github.com/chflame163/ComfyUI_CatVTON_Wrapper
下载模型
安装完节点后我们需要安装一下模型,如果网络好的小伙伴推荐用谷歌网盘安装
地址:https://drive.google.com/drive/folders/1TJNNql7UfDPVgHJuItDDjowycN5jpC5o?usp=sharing
如果有百度会员的小伙伴可以用百度网盘安装
地址: https://pan.baidu.com/s/1xbL5evB6iiav3QozsL0fJQ?pwd=06nv
我们把全部压缩包都下载并解压到目录。
ComtyUI/models/CatVTON
CatVTON
这个文件夹需要自己创建一下哦
搭建工作流
核心的节点就是我们刚刚安装的节点CatVTON_Wrapper,它需要一张模特图,衣服参考图和遮罩。我这里加个可以自动识别衣服的遮罩节点SegmentAnythingUltra,你也可以替换成其他可以识别物体的遮罩节点,或者手动涂抹遮罩。
自动识别:
手动涂抹:
节点的参数介绍
- 图像:输入图像。
- mask:输入图片的蒙版,蒙版范围内的衣物将被重新绘制。
- refer_image:重绘服装的参考图。
- mask_grow:mask 扩展的大小。如果重绘的服装样式不正确,请尝试调整此值。
- hybrid_precision:可以选择fp32、fp16、bf16,模型将在选择的数据类型下运行。
- seed:采样器的随机种子。
- steps:采样器的步数。
- cfg:扩散模型的cfg强度。
工作流还是非常简单的。
测试效果
还是非常贴合人物的身形的,图案也有较好的还原,虽然还是有点扭曲
裤子也是可以替换的
如果你想要换其他类型的衣服,建议手动涂抹遮罩,比如我这里的模特是短袖,但是我想换长袖,你就把人物上半身都涂上遮罩。
总结
这个换装工具安装简单使用方便,虽然达不到商用级别,但是普通人拿来玩玩当作赛博试衣间还是不错的。