SAM&Stable-Diffusion集成进化！分割、生成一切！AI绘画新玩法

自SAM「分割一切」模型推出之后，二创潮就开始了，有想法有行动！飞桨AI Studio开发者会唱歌的炼丹师就创作出SAM进化版，将SAM、Stable Diffusion集成，实现「分割」、「生成」能力二合一，并部署为应用，支持在线使用！

在线免费使用应用

创作者：会唱歌的炼丹师
作者主页：https://aistudio.baidu.com/aistudio/personalcenter/thirdview/338262

【大模型专区】当SAM遇到Stable-Diffusion
https://aistudio.baidu.com/aistudio/projectdetail/6300584

应用使用参数解读：
Text： sam分割图像的分割对象，如输入car，就会把图片中的car进行分割。Prompt： 针对分割对象的可控文本生成，输入对应的PromptAdvanced options： 高级选项

Images： 生成图像数量

Image Resolution： 生成图像分辨率，一般使用为512*512

Control Strength： control model 生成的条件合并到 stable diffsion 模型上的权重，默认为 1

Guess Model： 为使用更多样性的结果，生成后得到不那么遵守图像条件的结果

Segmentation Resolution： 图像分割分辨率

Steps： 推理步长

Guidance Scale： 是一种增加对指导生成（在本例中为文本）以及总体样本质量的条件信号的依从性的方法。它也被称为无分类器引导，简单地说，调整它可以更好的使用图像质量更好或更具备多样性。值介于7和8.5之间通常是稳定扩散的好选择。 默认情况下使用为7.5。

如果值很大， 图像质量可能更好，但对应的多样性会降低

如果值很小， 图像质量可能更差，但对应的多样性会增加

Seed： 随机种子数

eta (DDIM)： DDIM采样方法

Added Prompt： 在上述Prompt基础上所额外添加的提示，使生成的图片更好

Negative Prompt： 控制sd生成的图片把那些相关提示过滤

使用技术

Segment Anything： 提示词分割的大模型

ControlNet Canny ： 对分割图进行边缘检测，以此作为图像生成的控制条件

Stable Diffusion ： 文本到图像的扩散大模型通过Segment Anything Model强大的图像分割能力，我们可以很好的得到分割后的像素图。然后由ControlNet with Stable Diffusion将控制图为不同语义的分割图和文本（prompt）作为控制条件来完成Segment to Image任务。这样Segment Anything Model通过ControlNet与Stable Diffusion进行集成。

fork项目运行

fork该项目

启动进入线上开发环境

建议选择V100 32GB开发环境。

飞桨AI Studio每周运行项目即可免费获得56小时V100 32G算力

安装ppdiffusers依赖

1# 安装paddlenlp和ppdiffusers依赖 2!pip install "paddlenlp>=2.5.2" "ppdiffusers>=0.11.1" safetensors --user 

1# 采用Canny边缘检测图片作为控制条件 2!python gradio_canny2image.py 

1# 采用ADE20K分割协议的图片作为控制条件 2!python gradio_seg2image_segmenter.py 

安装ppsegSAM依赖

1# 安装依赖 2!pip install -r requirements.txt --user 

1# 下载样例图片 2!mkdir ~/examples 3%cd ~/examples 4!wget https://paddleseg.bj.bcebos.com/dygraph/demo/cityscapes_demo.png 

1# 下载分词表 2%cd ~ 3!wget https://bj.bcebos.com/paddleseg/dygraph/bpe_vocab_16e6/bpe_simple_vocab_16e6.txt.gz 

1# 运行脚本 2!python scripts/text_to_sam_clip.py --model-type vit_h 

AI技术日日迭代，期待各位开发者精彩创作，也诚邀各位开发者加入AI Studio进行开源创作，详细创作激励体系请点击下方链接。

https://aistudio.baidu.com/aistudio/cooperate/appcreation