看了下,效果还是可以的。
教程
1.安装 Inpaint Anything 图像检测分割插件
https://github.com/Uminosachi/sd-webui-inpaint-anything
2. 下载 Inpaint Anything 模型
在 Stable Diffusion 功能区点击“Inpaint Anything”选项卡,在 “Segment Anything 模型”栏中选择对应模型下载,SAM 提供三种模型,显存高的下载 sam_vit_h,识别度更精准。显存 8G 左右的下载 sam_vit_l,显存低于 8G 的下载 sam_vit_b。选择对应模型后,点击“下载模型”,下载后的模型会存放在 Inpaint Anything 插件目录中的 models 文件夹内。
3.使用 Inpaint Anything 生成指定区域蒙版
- 将人台模特图片拖放到左侧上传图片区域。
- 点击“运行 Segment Anything”。
- 在右侧图片分割区域,调整笔刷大小,鼠标点击图片需要分割的区域,按 S 键为全屏模式。例如本示例中这张图片识别后的图像元素较多,我们的目的是保留衣服,替换模特和背景。因此我们可以鼠标点击服装区域作为蒙版内容区,后续在图生图重绘功能中,蒙版模式选择重绘非蒙版内容即可。
- 选取完毕后,点击“创建遮罩”,蒙版将出现在选定的蒙版图像区域中。
- 按照草图修剪遮罩按钮:单击此按钮将从蒙版中排除草绘区域。在左侧仅蒙版选项卡中,点击“获取遮罩”,创建蒙版图。
- 点击“发送到图生图重绘”,将蒙版发送到图生图上传重绘蒙版模式中。
4.设置 Stable Diffusion 模型和图生图重绘参数
下载mr模型文件
https://civitai.com/models/43331/majicmix-realistic
模型和重绘参数设置
- 先选择 Stable Diffusion 模型,如果要生成真人,就选真人模型。例如本例中我们选择一个 majicMIX realistic 真人模型。
- 在上传重绘蒙版选项卡的重绘模式中,选择“重绘非蒙版内容”。这里需要注意,蒙版图片中白色部分是蒙版,黑色部分不是蒙版,所以这里要选择重绘黑色非蒙版内容,保留白色蒙版服装。
- 蒙版区域内容处理选择“填充”,重绘区域“整张图片”。
- 采样方法和迭代步数根据情况来设置,这里设置采样方法为 DPM++ SDE Karras,迭代步数 30,勾选面部修复。
- 重绘尺寸宽高与原图同比例,不要设置太大。这里设置为 800 和 1200。
- 提示词引导系数与重绘幅度根据情况设置,这里设置为 10 和 0.75。
5.ControlNet 参数设置
controlNet模型下载
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
设置controlNet的参数,第一个 ControlNet 设置为 openpose,提取人物姿势。第二个 ControlNet 设置为 inpaint only 仅局部重绘。第三个 ControlNet 设置为 Seg 语义分割,提取背景内容与构图。
6.提示词设置
a girl xxxxxxxxxxxxx
xxxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxxxxxx
7.生成图像并进行后期处理
- 点击“生成”图像,可以在“总批次数”和“单批数量”中设置每次图片生成的数量。
- 选择一张整体满意的图,如需要微调图片中的内容,可以将 seed 种子数固定,再调整提示词重新生成。
- 点击“发送到后期处理”,选择图片放大倍数和超分模型,增强图像分辨率和细节。
- 也可以将图片导入 Photoshop 做进一步后期处理
按照这个流程,可以结合自己情况,调整prompt词和参数来训练。