chatglm2-2b+sdxl1.0+langchain打造私有AIGC(六)-完结

chatglm2-2b+sdxl1.0+langchain打造私有AIGC(六)-完结

    正在检查是否收录...

一、前言

前面五篇文章已经将整个应用介绍得差不多了,昨天我将应用的已经开源到github,源码下载地址:

https://github.com/hubo0417/EasyGC

在此我要说两点

1.开源版本的LLM,是基于ChatGLM2-6B-INT4(运行时显存暂用:约6G)的量化模型进行开发的,因为考虑到大多数人的显卡并没有支持全量模型的能力。如果你的显卡够好,请自己替换成全量模型,甚至32K模型(我开发的时候使用的32K模型ChatGLM2-2B-32K,运行时显存占用:13G)

2.如果不使用ChatGLM2-6B-INT4的量化模型,可能会导致应用内的提示词与模型不能完美契合的情况,尤其是在Agent模块,让LLM判断使用哪些工具的场景。遇到这种情况,请自行修改提示词

3.开源仓库中只包含应用源码,不包含LLM,Embedding,SDXL的模型文件,如有需要模型文件的朋友可以留言,我私发,也可以自行去huggingface下载

二、功能介绍

应用分为3个模块

1、文本生成模块

在这个模块里主要有三个功能,一是对话功能,二是上传文本文件进行向量化的功能,三是上传自定义工具功能

文本生成模块

1.1、对话功能

在文本框输入信息,点击【发送信息】按钮实现与AI对话

1.2、上传文本文件功能

在页面最右边,拖入事先处理好的文本文件(建议是txt文件),设置好参数,点击【处理文件】。便可将文档中的内容进行向量化处理(向量化后的文档,目前需配合工具使用,可自己修改源码直接使用)

1.3、上传自定义工具

在页面输入框的下方,有一个【工具】的下拉框,还有一个【上传工具】的上传组件,将工具拖入到上传组件中,点击【加载工具】,便可将工具植入到应用中,在下来框中出现对应选项。(工具其实就是.py文件,自己可以参照源码,写一个自己的.py文件,上传之后就可以应用便会加载你的.py文件)

模块思路:在这个页面,如果【工具】下拉框选择了一个或多个工具,当点击【发送消息】后,应用会先让LLM判断是否有合适的

llmchat文本生成github自定义git提示词量化模型ai对话huggingfacesdxl
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-9695.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

运用“mvso影视cms采集插件”提升影视网站内容管理与用户体验

上一篇

“xgcms采集插件”的功能、应用与未来发展

下一篇
  • 复制图片
按住ctrl可打开默认菜单