LLM-LLaMA:手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式;Step 2: 合并LoRA权重,生成全量模型权重】

LLM-LLaMA:手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式;Step 2: 合并LoRA权重,生成全量模型权重】

    正在检查是否收录...

准备工作

运行前确保拉取仓库最新版代码:git pull 确保机器有足够的内存加载完整模型(例如7B模型需要13-15G)以进行合并模型操作。 务必确认基模型和下载的LoRA模型完整性,检查是否与SHA256.md所示的值一致,否则无法进行合并操作。原版LLaMA包含:tokenizer.modeltokenizer_checklist.chkconsolidated.*.pthparams.json 主要依赖库如下(python>=3.9),请安装指定版本,否则合并后无法比对SHA256校验值:
pip install torch==1.13.1 pip install transformers==4.28.1 pip install sentencepiece==0.1.97 pip install peft==0.3.0

注意:经过多方比对,HuggingFace模型库中的elinas/llama-7b-hf-transformers-4.29与原版llama模型离线转换为HF格式后的SHA256一致(已验证7B/13B/33B)。如果你要使用,则应确保满足相应使用许可,我们不对其合规性做出任何保证(use at your own risk)。

codellamatransformertransformerstoken合规性pythongithuggingfacejson模型库url
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-2009.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

运动规划之搜索算法:前端规划、后端轨迹生成到状态求解

上一篇

机器学习

下一篇
  • 复制图片
按住ctrl可打开默认菜单