真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

所谓真人漫改,就是把一张真人的图片生成一张新的二次元的图片。在AI绘画中,这是一个非常常见的应用场景。关于真人漫改在之前进阶篇系列中分享过好几种制作方式,但是实现方式都比较简单,真人与对应的二次元效果图片不管是人物服装、背景元素、画面颜色等很难达到一致,今天分享一种基本可以实现商用交付的真人漫改制作方法,我们先来看真人漫改的效果图。

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改
真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

一. 真人漫改的制作方法

下面我们以下面这张图片的真人图片为例来讲解一下真人漫改的制作方法

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

【第一步】:大模型的选择

真人漫改需要生成二次元的图片,所以大模型需要选择二次元的大模型。

这里使用:AWPainting

模型下载地址(文末网盘地址也可获取)

https://www.liblib.art/modelinfo/1fd281cf6bcf01b95033c03b471d8fd8

【第二步】:提示词的编写

我们使用WD1.4标签器来获取图片的提示词信息。

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

通过WD1.4标签器插件获取的提示词为:

1girl, jewelry, solo, bracelet, hair ornament, hair flower, braid, flower, earrings, long hair, necklace, navel, looking at viewer, realistic, breasts, strapless, skirt, outdoors, midriff, blurry, bare shoulders, brown hair, single braid, blurry background, tube top, medium breasts, parted lips, crop top, brown eyes, pink skirt, black hair

因为我们需要真人漫改生成对应的二次元图片,我们要检查一下提示词,建议使用翻译软件把提示词翻译出来详细检查一遍,把不符合要求的提示词去掉,比如这里提示词realistic(逼真)就需要拿掉。有些图片反推的提示词有freckles(雀斑)、mole(痣)等影响人脸美观的关键词也可以拿掉。

正向提示词

Prompt:1girl, jewelry, solo, bracelet, hair ornament, hair flower, braid, flower, earrings, long hair, necklace, navel, looking at viewer, breasts, strapless, skirt, outdoors, midriff, blurry, bare shoulders, brown hair, single braid, blurry background, tube top, medium breasts, parted lips, crop top, brown eyes, pink skirt, black hair

提示词:女孩,珠宝,独奏,手镯,发饰,发花,辫子,花,耳环,长发,项链,肚脐,看着观众,乳房,无肩带,裙子,户外,腹部,模糊,裸露的肩膀,棕色头发,单根辫子,模糊的背景,吊带上衣,中等胸部,分开的嘴唇,露脐上衣,棕色眼睛,粉色裙子,黑发

反向提示词

ng_deepnegative_v1_75t,(badhandv4:1.2),(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,(bad hands),((monochrome)),((grayscale)) watermark,moles,many fingers,(broken hands),nsfw,

相关参数设置

  • 采样器:DPM++ 2M Karras
  • 采样迭代步数:30
  • 图片宽高:512*768。
  • 提示词引导系数(CFG):7

【第三步】:ControlNet的设置

这里我们使用3个ControlNet单元。

ControlNet单元1:Depth控制模型用于控制画面元素远近距离一致

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

相关参数设置如下:

  • 控制类型:选择"Depth(深度)"
  • 预处理器:depth_zoe
  • 模型:control_v11f1p_sd15_depth
  • 控制权重:1
  • 引导介入时机:0
  • 引导终止时机:1

ControlNet单元2:Lineart控制模型用于控制画面线条的一致

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

相关参数设置如下:

  • 控制类型:选择"Lineart(线稿)"
  • 预处理器: lineart_realistic(用于识别真人图片的线条)
  • 模型:control_v11p_sd15_lineart
  • 控制权重:0.6 (真人照片与二次元照片在五官上会不匹配,这里适当降低ControlNet的控制权重)
  • 引导介入时机:0
  • 引导终止时机:1

ControlNet单元3:tile控制模型用于控制画面颜色的一致

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

相关参数设置如下:

  • 控制类型:选择"Tile/Blur(分块/模糊)"
  • 预处理器: tile_colorfix(用于分块固定图片的颜色)
  • 模型:control_v11f1e_sd15_tile
  • 控制权重:1
  • 引导介入时机:0
  • 引导终止时机:1

【第四步】图片的生成

点击【生成】按钮,我们来看一下最终生成的图片效果。

原真人图片

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

二次元图片

真人的图片转漫画效果是如何制作的?用Stable Diffusion实现真人漫改

二. 相关说明

(1)关于大模型的选择,可以选择各种不同风格的二次元大模型进行尝试。

(2)本示例中使用了3个ControlNet控制模型:

  • Depth控制模型控制图片的远近距离
  • Lineart控制模型控制图片的整体线条
  • Tile模型控制图片的颜色。

由于Tile模型具有改变图片细节的效果,在本示例中二次元图片背景元素是树叶,会适当丰富一下图片的背景元素信息。

(3)该制作方法在细节处还有待完善,比如美女佩戴的耳环,生成的二次元图片效果款式和颜色都还没有达到一致。

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。

模型放在网盘里,感兴趣的小伙伴自取!

https://pan.quark.cn/s/b3df771404e2

 

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
百科

利用ChatGPT提升工作效率的实用指南,我更改了这5项ChatGPT设置

2024-7-2 9:39:57

百科

如何用kimi写自媒体文案? 提示词解析和优化思路秒变文案达人

2024-7-2 12:34:09

搜索