Stable Diffusion小知识:什么是LoRA模型?

大家刚接触stable diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢?

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

我们举个更容易懂的例子:大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。

 


 

下面我们结合实际的例子来看一下LoRA模型的效果。本次使用的大模型和LoRA模型如下,大家可自行访问下载体验:

大模型:CamelliaMIx_2.5D_V2

LoRA模型:Yae Miko | Realistic Genshin LORA

LoRA模型:Adventurers

LoRA模型:Elegant hanfu ruqun style

 


 

一、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Yae Miko | Realistic Genshin LORA对比

Prompt:(masterpiece:1.2, best quality), (real picture, intricate details), 1girl, solo, upper body, casual, Small eyes, short hair, minimal makeup, natural fabrics, close-up face, smile, home, white cropped shirt

1-1、仅使用大模型的效果(见下图)

Stable Diffusion小知识:什么是LoRA模型?

1-2、使用大模型 + LoRA模型的效果(见下图)

Stable Diffusion小知识:什么是LoRA模型?

总结:在使用LoRA模型并且Prompt无调整的前提下,出图效果发生了明显的变化,让出图的最终结果更倾向于LoRA的风格。

 


 

二、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Adventurers对比

这次出图的对比项有3组:1、添加LoRA无新增提示词;2、无LoRA有新增提示词;3、添加LoRA有新增提示词;

这里引入一个新的概念(Trigger Words),Trigger Words的作用是激活LoRA模型中特定的内容,让LoRA知道我们要用这个东西,Trigger Words是制作LoRA模型时,写入到模型里的。

LoRA模型Adventurers的Trigger Words如下:Trigger Words:ARMOR、KNIGHT、ROGUE、PALADIN、WARRIOR、BERSERKER、RANGER、CLERIC、MUSKETEER、VALKYRIE、PIRATE

2-1、使用大模型 + LoRA模型 + 提示词无修改的效果(见下图)

Stable Diffusion小知识:什么是LoRA模型?

2-2、使用大模型 + 提示词有新增的效果(见下图)

新增提示词:ARMOR, KNIGHT, ROGUE, PALADIN, WARRIOR, BERSERKER, RANGER, CLERIC, MUSKETEER, VALKYRIE, PIRATE

Stable Diffusion小知识:什么是LoRA模型?

2-3、使用大模型 + LoRA模型 + 提示词有新增的效果(见下图)

新增提示词:ARMOR, KNIGHT, ROGUE, PALADIN, WARRIOR, BERSERKER, RANGER, CLERIC, MUSKETEER, VALKYRIE, PIRATE

Stable Diffusion小知识:什么是LoRA模型?

总结:无LoRA模型时,加入新的提示词虽然能表现出部分提示词的效果,但是铠甲等物品的表现质感较差,加入LoRA模型后,铠甲等物品的表现质感明显提示了一个档次。这也就是LoRA的美化效果。

 


 

三、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Elegant hanfu ruqun style对比

这次出图的对比项依旧是:1、添加LoRA无新增提示词;2、无LoRA有新增提示词;3、添加LoRA有新增提示词;

LoRA模型Elegant hanfu ruqun style的Trigger Words如下:ru_qun

3-1、使用大模型 + LoRA模型 + 提示词无新增的效果(见下图)

Stable Diffusion小知识:什么是LoRA模型?

3-2、使用大模型 + 提示词有新增的效果(见下图)

新增提示词:(hanfu:0.9),(ru_qun:1.1)

Stable Diffusion小知识:什么是LoRA模型?

3-3、使用大模型 + LoRA模型 + 提示词有新增的效果(见下图)

新增提示词:(hanfu:0.9),(ru_qun:1.1)

Stable Diffusion小知识:什么是LoRA模型?

总结:同案例2展示的一样,仅靠提示词是无法彻底改变出图的风格的,配合上LoRA模型后,出图风格会得到很大的改变。

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
百科

Stable Diffusion采样方法完整教程

2023-10-13 14:10:48

百科

灵犀百通Ai教程必读指南

2023-10-13 21:34:19

搜索