大家刚接触stable diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢?
LoRA模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。
我们举个更容易懂的例子:大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。
下面我们结合实际的例子来看一下LoRA模型的效果。本次使用的大模型和LoRA模型如下,大家可自行访问下载体验:
大模型:CamelliaMIx_2.5D_V2
LoRA模型:Yae Miko | Realistic Genshin LORA
LoRA模型:Adventurers
LoRA模型:Elegant hanfu ruqun style
一、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Yae Miko | Realistic Genshin LORA对比
Prompt:(masterpiece:1.2, best quality), (real picture, intricate details), 1girl, solo, upper body, casual, Small eyes, short hair, minimal makeup, natural fabrics, close-up face, smile, home, white cropped shirt
1-1、仅使用大模型的效果(见下图)
1-2、使用大模型 + LoRA模型的效果(见下图)
总结:在使用LoRA模型并且Prompt无调整的前提下,出图效果发生了明显的变化,让出图的最终结果更倾向于LoRA的风格。
二、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Adventurers对比
这次出图的对比项有3组:1、添加LoRA无新增提示词;2、无LoRA有新增提示词;3、添加LoRA有新增提示词;
这里引入一个新的概念(Trigger Words),Trigger Words的作用是激活LoRA模型中特定的内容,让LoRA知道我们要用这个东西,Trigger Words是制作LoRA模型时,写入到模型里的。
LoRA模型Adventurers的Trigger Words如下:Trigger Words:ARMOR、KNIGHT、ROGUE、PALADIN、WARRIOR、BERSERKER、RANGER、CLERIC、MUSKETEER、VALKYRIE、PIRATE
2-1、使用大模型 + LoRA模型 + 提示词无修改的效果(见下图)
2-2、使用大模型 + 提示词有新增的效果(见下图)
新增提示词:ARMOR, KNIGHT, ROGUE, PALADIN, WARRIOR, BERSERKER, RANGER, CLERIC, MUSKETEER, VALKYRIE, PIRATE
2-3、使用大模型 + LoRA模型 + 提示词有新增的效果(见下图)
新增提示词:ARMOR, KNIGHT, ROGUE, PALADIN, WARRIOR, BERSERKER, RANGER, CLERIC, MUSKETEER, VALKYRIE, PIRATE
总结:无LoRA模型时,加入新的提示词虽然能表现出部分提示词的效果,但是铠甲等物品的表现质感较差,加入LoRA模型后,铠甲等物品的表现质感明显提示了一个档次。这也就是LoRA的美化效果。
三、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Elegant hanfu ruqun style对比
这次出图的对比项依旧是:1、添加LoRA无新增提示词;2、无LoRA有新增提示词;3、添加LoRA有新增提示词;
LoRA模型Elegant hanfu ruqun style的Trigger Words如下:ru_qun
3-1、使用大模型 + LoRA模型 + 提示词无新增的效果(见下图)
3-2、使用大模型 + 提示词有新增的效果(见下图)
新增提示词:(hanfu:0.9),(ru_qun:1.1)
3-3、使用大模型 + LoRA模型 + 提示词有新增的效果(见下图)
新增提示词:(hanfu:0.9),(ru_qun:1.1)
总结:同案例2展示的一样,仅靠提示词是无法彻底改变出图的风格的,配合上LoRA模型后,出图风格会得到很大的改变。