AI秒出图!StableDiffusion Automatic1111正式支持Tensorrt

AI秒出图!StableDiffusion Automatic1111正式支持Tensorrt

    正在检查是否收录...
一言准备中...

秒级出图的AI绘画终于支持Automatic1111。

今天在AI绘画的开源平台Automatic1111上发布了Tensorrt项目,项目地址是

https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt

该项目是基于automatic1111的stable-diffusion-webui项目的子项目。

基本原理:

我们知道,automatic1111是基于pytorch框架设计的,每次执行,都会从基础模型进行推算直至最终出图。

Tensorrt是nvidia推出的推理器,在基于pytorch框架的应用上,它可以先用pytorch进行预处理生成ONNX预处理模型,这样完成了大量重负荷的工作,然后通过Tensorrt推理器,对ONNX进行推理计算。因此可快速生成AI绘图。甚至可以将图片生成速度提高至0.1秒内。

之前我也安装过几个基于Tensorrt的开源项目,但功能完整性上都不及automatic1111项目全面,这次automatic1111项目推出自己的tensorrt,算是补完了这块拼图。

当然,要把Tensorrt用起来,也不是这么容易的:

1. 安装:

   stable diffusion中要把Tensorrt用起来,除了我们知道的Nvidia显卡驱动,CUDA Toolkit, CUDnn外,还要安装TensorRT, 而且TensorRT需要手动安装,Nvidia没有提供一键安装包。

2. 硬件支持:

    Tensorrt, 早期版本需要SM5.0以上显卡,新版需要SM6.0以上显卡,要跑流畅了,需要Turing架构以上的含Tensor core的显卡。

3. 使用:

    在实际使用时,我们需要一次性将基础模型(如果用到lora,需要一同加载)转化为ONNX模型,然后在生成图片时选择ONNX模型,并选择Tensorrt方式(不需要指定lora)

优点:出图快!非常快!

缺点:ONNX模型生成需要点时间,每种Lora与基模的组合,需要单独生成ONNX模型!

适合:应用场景相对固定的创作者--可快速大批量产出同样风格的创意。

tensorrtonnxdiffusionpytorch基础模型webwebuiai绘画ai绘图模型生成生成速度开源项目git生成aigithubstable diffusion快速生成创作者图片生成url
  • 本文作者:WAP站长网
  • 本文链接: https://wapzz.net/post-4600.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.7W+
9
1
2
WAP站长官方

大模型部署手记(11)LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话

上一篇

Github Copilot 报错:GitHub Copilot could not connect to server.

下一篇
  • 复制图片
按住ctrl可打开默认菜单