ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

今天给小伙伴们介绍一个 SDXL-ControlNet,万能控制模型:Anytest,操作很简单,不需要预处理器,直接使用即可。

基础的功能包括根据线稿生成图像,对图片进行风格转绘,这个没啥好讲的。

Anytest 有几个有趣的用法,针对轮廓不明显的构图,也可以生成质量不错的图片。

不仅如此,Anytest 还可以帮你完善不完整的草图,包括在图片上进行二创。

这么讲小伙伴们可能没有太大感觉,我们直接看效果吧!

我们还是在 ComfyUI 中进行演示,工作流就是基础的 ControlNet 工作流。

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

作者提供的 Anytest 的模型比较多,推荐我们使用的主要是红框中的两个模型,这两个模型的兼容性比较好。

不过既然有 V3 和 V4,那理论上来说应该 V4 更优秀一些才对,不过也不能这么绝对!

我们就以这两个模型来体验对比一下吧!

不过这两个模型有点大,如果显存不够的小伙伴可以下载 dim256 版本的,可以看到模型的名字中有 am 和 pn 之分,am 代表是动漫大模型,pn 代表是以 Pony 为基础模型炼制的大模型,小伙伴们按需下载就可以了。

模型下载链接和网盘都会放在文末。

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

好了,模型介绍完了,我们来看看具体的效果如何。

先来个简单的根据画稿生成图片,两个模型都精确的识别了线稿并生成了图片,个人觉得 v4 的出图效果更棒一些。

提示词:analog film photo One girl, casual, faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

根据图片生成图片,这次感觉两个模型生成的图片区别不是很大,人物的复刻也算是完美,当然我们也可以使用不同的 Lora 模型进行风格转绘。

提示词:(masterpiece), (best quality), (ultra-detailed), One girl, ahanfu, illustration, disheveled hair, detailed eyes, perfect composition, moist skin, intricate details, earrings, by wlop

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

基础功能介绍完了,我们来看点不一样的。

即使是很粗糙的人物轮廓,Anytest 也可以很好的绘制出人物以及场景,不过这里需要注意的是,图片中的人物细节以及场景的细节尽量在提示词中有所体现,要不然效果不太好哦!

不同提示词的出图效果差别还是蛮大的,如果效果不佳可以试着调整下提示词。

提示词:(masterpiece), (best quality), (ultra-detailed), 1 girl, blouse, stand on the bridge and watch the fireworks from far away., illustration, disheveled hair, detailed eyes, perfect composition, moist skin, intricate details, earrings, by wlop

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

还有这种多人的也可以。

提示词:(masterpiece), (best quality), (ultra-detailed), 2girl,summer_dress,, illustration, disheveled hair, detailed eyes, perfect composition, moist skin, intricate details, earrings, by wlop

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

即使是上传不完整的线稿图也可以自动补全线稿并生成图片。

提示词:High Fashion, 1girl, , dynamic, dramatic, haute couture, elegant, ornate clothing, High Fashion

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

还有一种很有趣的用法。

我们找一张自己喜欢的草图,在草图上随便画几笔,比如下边这个作者在左边图片的基础草图上画了几条粗线条,最终通过 Anytest 完美的融合进了图片里。

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

我们直接就用他这张图来试试效果吧,这里说一下,新增的线条就用正常的画笔工具画就行了,不是蒙版哦!

提示词:art illustrating insane amounts of raging elemental energy turning into 1girl, avatar of elements. magical surrealism, wizardry. best quality, high resolution

效果还是很不错滴。

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

不仅可以在草图上,在图片上也可以进行二次创作然后生成新的图片。

提示词:surrealist art 1girl,Scarves . dreamlike, mysterious, provocative, symbolic, intricate, detailed

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

想要动漫人物或者线稿人物转真人也可以的,找一个支持真实人像的大模型就可以了,不过 V3 看着还是有点像动漫风格,V4 的真实人像风格就比较明显了,从这里看 V4 的泛化性更好一些。

提示词:glamorous photo 1girl,best quality,masterpiece,realistic, high fashion, luxurious, extravagant, stylish, sensual, opulent, elegance, stunning beauty, professional, high contrast, detailed

ComfyUI上使用SDXL-ControlNet模型,实现线稿草图涂鸦转绘的AI绘画

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!

模型下载地址:

https://huggingface.co/2vXpSwA7/iroiro-lora/tree/main/test_controlnet2

网盘链接:

https://pan.quark.cn/s/ebd83f47edcb

 

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
百科

AI Agent 到底是什么?国内AI Agent行业应用大盘点

2024-6-16 11:05:50

百科

利用AI绘画stable diffusion生成真人模型,stable diffusion模型kimchiMix分享

2024-6-17 9:31:13

搜索