stable diffusion 的controlNet 安装和使用

stable diffusion 安装controlNet需要先下载扩展

扩展地址
下载了扩展以后，需要下载相应的模型，每个模型大约1.45G,可以按需下载。
模型地址

如果下载速度太慢，可以考虑去liblib下载，但是是全量模型
liblib

模型下载完后，把模型放到/models/ControlNet

重新刷新webUI，就可以看到相应的模型了

controlNet耗内存应该挺高，我本地跑不起来，所以我直接在liblib里试验，liblib每天送300能量，大约能出100张图，随便用下足够了。

随便找了个涂鸦图

放了两个controlNet，其中一个选了涂鸦，第二个选了openPose
最后出的图和涂鸦里的姿势还算匹配

总结

**Stable Diffusion与ControlNet的安装与使用**
**安装前准备**：
为了能在Stable Diffusion中使用ControlNet，首先需要从提供的地址下载必要的扩展。该扩展是ControlNet功能集成的基础组件。
**下载模型**：
成功安装扩展后，下一步是下载所需的ControlNet模型。每个模型大约1.45G，用户可以根据个人需求选择下载。如果标准下载速度较慢，建议选择liblib作为下载源，虽然它提供的是全量模型，但能够加速下载过程。
**模型部署**：
下载完成后，要将模型文件放置在指定的`/models/ControlNet`目录下。然后，重新刷新Stable Diffusion的webUI界面，加载新增的ControlNet模型。
**内存及性能考虑**：
ControlNet功能相对耗费内存，因此如果在本地机器上运行有困难，可以考虑使用liblib这样的外部服务进行试验。liblib每天提供300能量的免费额度，大约能生成100张图片，满足一般使用需求。
**使用示例**：
在一个简单的测试中，用户选择了一张涂鸦图片，并利用ControlNet说明了涂鸦中的姿势。通过放置两个ControlNet模型，一个负责识别涂鸦，一个使用openPose技术解析姿势，最终生成的图片与涂鸦中的姿势保持了较好的匹配度。这表明ControlNet功能能够精确地识别图片内容并根据用户需求进行调整。 controlnetstable diffusiondiffusionwebuiwebopenpose模型部署用户需求图片内容