【Stable Diffusion】基本概念之lora

【Stable Diffusion】基本概念之lora

    正在检查是否收录...

1.基本概念
Lora,英文全称“Low-Rank Adaptation of Large Langurage Models”,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术
2.作用
只要是图片上的特征都可以提取并训练
(1)对人物/物品的脸部特征进行复刻
(2)生成某一特定风格的图像
(3)固定动作特征
3.embedding和Lora的区别
embedding文件小,保存的信息量小,对人物的还原、对动作的指定、对画风的指定效果一般;Lora文件大,保存的信息量大,对人物的还原、对动作的指定、对画风的指定效果比较好。
embedding一般还原的人物为动漫人物,真人一般用Lora比较好,当embedding和lora可以做同一件事时,优先选择lora,但三视图、多视图embedding有做好的文件,Lora实现就会比较难

3.lora文件下载
打开https://civitai.com/
右方的筛选按钮——LoRA

然后就可以选择相应的画面点击后,再在相应的页面点击Download Latest
以这个生成连环画风格lora为例,点击页面后,再点击Download Latest就可以将lora模型下载下来了

得到文件Xiaorenshu_v20.safetensors
就是生成小人书画风的lora了

4.lora文件存放位置
以存放在D盘为例
D:\stable-diffusion-webui\models\Lora
5.在WebUI中打开lora
在页面的图片中点击“i”按钮,可以看到图片的相应信息,可以发现,作者这里没有写配套训练大模型,可以去评论区查看其他人使用的大模型作为参考大模型

但有的页面有作者配套训练的大模型,所以最好是使用作者配套训练的大模型

在WebUI的Stable Diffusion checkpoint中任意选择一个大模型,例如“chilloutmix_NiPrunedFp32Fix”

不加载lora,在Prompt中输入“masterpiece, high quality”点击“Generate”生成的效果为:
在WebUI页面中点击“Show extra networks”

再在Lora标签中选择需要的lora,点击

可以发现Prompt变为:

表示这是一个“lora”,名称为“Xiaorenshu_v20”,使用比重为“1”
点击“Generate”,这时生成的图像为:

这样就可以得到“小人书”风格的人物图像了

大模型webuiweb大语言模型语言模型promptdiffusionstable diffusion模型微调rag研究人员erp文件下载utmurlfix
  • 本文作者:WAP站长网
  • 本文链接: https://wapzz.net/post-3384.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.8W+
9
1
2
WAP站长官方

Beezy 实测:Bard Google vs ChatGPT,你该怎么选?

上一篇

如何在阿里云快速启动Stable Diffusion轻松玩转AI绘画

下一篇
  • 复制图片
按住ctrl可打开默认菜单