Stable Diffusion XL webui dreambooth插件 Linux安装,训练LoRA(保姆级教程)

Stable Diffusion XL webui dreambooth插件 Linux安装,训练LoRA(保姆级教程)

    正在检查是否收录...

文章目录

Stable Diffusion XL webui dreambooth插件 Linux安装(保姆级教程) 前言 安装 下载dreambooth仓库 下载SDXL预训练模型其他文件 下载前注意 下载前准备 下载

Stable Diffusion XL webui dreambooth插件 Linux安装(保姆级教程)

前言

在安装这个插件之前,我已经安装了SDXL webui,tagger插件,具体安装操作可以参考之前的文章: SDXL webui、tagger插件。
之前已经安装了tagger插件,用来反推训练图像的提示词,接下来,我们可以利用dreambooth插件来训练我们的LoRA模型了。

安装

下载dreambooth仓库

只需在webui中的extensions下输入https://github.com/d8ahazard/sd_dreambooth_extension就可以了。
自动安装完后,如果linux终端出现以下信息:
一般是bitsandbytes包没有安装下来,可能是默认安装windows版本的,那我们自己手动安装即可:

pip install bitsandbytes==0.41.1 --target /stable-diffusion-webui/venv/lib/python3.10/site-packages/ 

--target是为了将其安装到SD webui的虚拟环境的路径下。

下载SDXL预训练模型其他文件

下载前注意

我这里是直接以SDXL为底模型,没有用C站上很火的其他模型来训练LoRA。
在训练LoRA要用到SDXL的tokenizer等文件,一般webui会自动下载,但是因为我这里的Linux服务器没有设代理,huggingface又被墙了,所以需自己手动下载。
dreambooth在训练以SDXL为底模的LoRA时,会加载两个tokenizer和两个text_encoder,建议用sdxl-base-1.0模型来训练,因为效果更好的sdxl-refiner-1.0的huggingface仓库只提供了tokenizer_2,text_encoder_2。

(PS:我之前想将base的tokenizer,text_encoder用到refiner上,但是会在线性层的维度上报错,暂时没有深究网络结构,所以不敢枉然修改,保险起见用base版本)

下载前准备

首先,在/stable-diffusion-webui/models/dreambooth/,新建一个文件,文件名就是你的LoRA模型名称,在该文件夹下新建一个working文件夹,用来存放下载的文件

cd /stable-diffusion-webui/models/dreambooth/ mkdir Your_LoRA_name cd Your_LoRA_name mkdir working 
下载

然后对应下图,在sdxl-base-1.0仓库下载以下文件:

考虑到节省储存空间,vae、unet文件夹下的预训练模型,可以只下载safetensors文件。

敲黑板!!!
记得一定要完全按照仓库里的文件命名,不要自己随意修改。在下载文件夹里的文件时,文件命名似乎会默认加上文件夹的名称,比如,text_encoder文件夹中有个config.json文件,下载完后会变成text_encoder_config.json,自己要去掉前面的text_encoder_,如果不一样,会造成之后训练时会因为读取不到而报错。

至此,就安装完毕了。

codewebsdxlwebuidreamdreambooth文件夹diffusiontokenlinux预训练预训练模型stable diffusion xljsonstable diffusionhuggingfacegithubwindows提示词服务器git虚拟环境pythonurl
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-3945.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

Stable Diffusion 系列教程 | 图生图基础

上一篇

年终收官!华为云开发者日·2023年度创享峰会成功举办

下一篇
  • 复制图片
按住ctrl可打开默认菜单