本地训练中文LLaMA模型实战教程,民间羊驼模型,24G显存盘它!

本地训练中文LLaMA模型实战教程,民间羊驼模型,24G显存盘它!

    正在检查是否收录...

羊驼实战系列索引

博文1:本地部署中文LLaMA模型实战教程,民间羊驼模型
博文2:本地训练中文LLaMA模型实战教程,民间羊驼模型(本博客)
博文3:精调训练中文LLaMA模型实战教程,民间羊驼模型

简介

在学习完上篇【1本地部署中文LLaMA模型实战教程,民间羊驼模型】后,我们已经学会了下载模型,本地部署模型,部署为网页应用。
如果我们对于模型在某些方面的能力不够满意,想要赋予模型一些特殊的能力,那么我们可以选择领域内特殊的数据集,然后在基础模型上继续训练,从而得到一个新的模型。例如我们可以把医学知识用于训练模型,得到一个医生chatGPT;把佛学资料用于训练模型,得到一个佛祖chatGPT;人类的已有知识是海量的,智慧是无穷的,我相信大家一定有更好的想法!
本博客主要包含以下内容:
1训练数据准备,纯文本txt数据。
2训练脚本编写,主要参数讲解,消耗显存控制在24GB以内
3训练实战,测评。

系统配置

系统:Ubuntu 20.10
CUDA Version: 11.8
GPU: RTX3090 24G

llama本地部署chatgptgptchat数据集数据准备gpu训练数据网页应用基础模型url
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-2777.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

自动驾驶大模型论文调研与简述

上一篇

微软高管透露将推出更多超越OpenAI的大语言模型

下一篇
  • 复制图片
按住ctrl可打开默认菜单