使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)

使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)

    正在检查是否收录...
一言准备中...

目录

一. 安装环境 二. 配置模型 2.1 stable diffusion v1 2.2 运行并测试生成效果


Stable Diffusion 是一种以 CLIP ViT-L/14 文本编码器的(非池化)文本嵌入为条件的潜在扩散模型。

一. 安装环境

创建并激活一个合适的名为conda的环境:ldm

conda env create -f environment.yaml conda activate ldm 

更新现有的虚拟环境:

conda install pytorch torchvision -c pytorch pip install transformers==4.19.2 diffusers invisible-watermark pip install -e . 

二. 配置模型

2.1 stable diffusion v1

Stable Diffusion v1 指的是模型架构的特定配置,该架构使用下采样因子 8 自动编码器和 860M UNet 和 CLIP ViT-L/14 文本编码器用于扩散模型。该模型在 256x256 图像上进行预训练,然后在 512x512 图像上进行微调。
模型一共有四个尺度:
1.sd-v1-1.ckpt:在laion2B-en上分辨率为256x256迭代了237k 步。在laion512x512高分辨率上迭代了194k 步(来自 LAION-5B 的分辨率为>= 1024x1024的 170M 的示例。
2.sd-v1-2.ckpt: 从 sd-v1-1.ckpt微调得到。在laion-aesthetics v2 5+上分辨率为512x512迭代了515k 步(laion2B-en 的一个子集,具有估计的美学分数> 5.0,并另外过滤到具有原始大小>= 512x512和估计水印概率< 0.5的图像。水印估计来自LAION-5B元数据,美学分数是使用LAION-Aesthetics Predictor V2估算的)。
3.sd-v1-3.ckpt: 从sd-v1-2.ckpt微调得到。512x512“laion-aesthetics v2 5+”分辨率为512x512迭代了195k 步,文本条件下降 10%,以改进无分类器指导采样。
4.sd-v1-4.ckpt: 从sd-v1-2.ckpt微调得到。“laion-aesthetics v2 5+”分辨率为512x512迭代了225k 步,文本条件下降 10%,以改进无分类器指导采样。
本次测试使用的模型是sd-v1-1.ckpt。

2.2 运行并测试生成效果

获得stable-diffusion-v1-*-original权重后,将它们链接起来:

mkdir -p models/ldm/stable-diffusion-v1/ ln -s <path/to/model.ckpt> models/ldm/stable-diffusion-v1/model.ckpt 

或者直接把模型放在models/ldm/stable-diffusion-v1/ 下面。
测试一下从文本到图像:

python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms 

默认情况下,以 50 步渲染大小为 512x512的图像。
测试一下从图像到图像:

python scripts/img2img.py --prompt "A fantasy landscape, trending on artstation" --init-img <path-to-img.jpg> --strength 0.8 

codediffusionstable diffusion扩散模型scriptclip文本编码cli生成效果promptpytorchpython元数据createrapurlaml预训练ivatransformers文本到图像lms潜在扩散模型文本嵌入虚拟环境高分辨率transformercto
  • 本文作者:WAP站长网
  • 本文链接: https://wapzz.net/post-2901.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.7W+
9
1
2
WAP站长官方

FaceChain V2,Human AIGC开源应用平台

上一篇

AI 绘画工具 Stable Diffusion 本地安装使用

下一篇
  • 复制图片
按住ctrl可打开默认菜单