LLaMA Factory微调Llama3模型

LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。

?GPU推荐使用24GB显存的A10（ecs.gn7i-c8g1.2xlarge）或更高配置 ?镜像选择DSW官方镜像modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04

我们来微调llama3-8B模型尝试一下 

安装LLaMA Factory 

?拉取LLaMA-Factory项目

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git # 正克隆到 'LLaMA-Factory'... remote: Enumerating objects: 298, done. remote: Counting objects: 100% (298/298), done. remote: Compressing objects: 100% (218/218), done. remote: Total 298 (delta 76), reused 204 (delta 67), pack-reused 0 (from 0) 接收对象中: 100% (298/298), 7.85 MiB | 5.21 MiB/s, 完成. 处理 delta 中: 100% (76/76), 完成.

 ?然后安装LLaMA-Factory依赖环境。

pip uninstall -y vllm pip install llamafactory[metrics]==0.7.1 pip install accelerate==0.30.1

安装后输入llamafactory-cli version检查一下是否安装成功：

llamafactory-cli version # ---------------------------------------------------------- | Welcome to LLaMA Factory, version 0.7.1 | | | | Project page: https://github.com/hiyouga/LLaMA-Factory | ----------------------------------------------------------

LLaMA-Factory项目内置了丰富的数据集，放在了data目录下，我们也可以准备自定义数据集，将数据处理为框架特定的格式，放在data下，并且修改dataset_info.json文件。

我们看一下官方给出的格式：

Alpaca 格式

[ { "instruction": "人类指令（必填）", "input": "人类输入（选填）", "output": "模型回答（必填）", "system": "系统提示词（选填）", "history": [ ["第一轮指令（选填）", "第一轮回答（选填）"], ["第二轮指令（选填）", "第二轮回答（选填）"] ] } ]

 ?对于上述格式的数据，dataset_info.json 中的数据集描述应为：

"数据集名称": { "file_name": "data.json", "columns": { "prompt": "instruction", "query": "input", "response": "output", "system": "system", "history": "history" } }

我们去官方寻找一份数据集来下载（notebook运行）：

%cd LLaMA-Factory !wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip !mv data rawdata && unzip data.zip -d data

数据：

[ { "conversations": [ { "from": "human", "value": "模仿西游记的孙悟空的语气和我聊天。如果你把水冻住，你会得到什么？" }, { "from": "gpt", "value": "哈哈，这问题还难倒俺老孙吗？把水冻住就是变成冰啦！不过若是在取经的路上用得着这冰来做啥，比如过火焰山时，那可就是解渴消暑的好东西了！你觉得呢？还有没有更有趣的问题让俺老孙来解答？" }, { "from": "human", "value": "那怎么做才可以把水冻住" }, { "from": "gpt", "value": "哈哈，对俺老孙来说，这可是轻而易举的事情！只需将水放在凉快的地方，或者使用法力，一吹仙气，水便能迅速结冰啦！当然，在你的世界里，把水放进冰箱的冷冻室里等一阵子，水就会变成冰块了。要是嫌慢，可以尝试用点干冰或液氮什么的，不过得小心使用哈！毕竟不像俺老孙有抗寒法力。" } ] } ]

模型微调

我们不光可以通过命令行进行微调，还可以启动一个webui来微调推理

!export USE_MODELSCOPE_HUB=1 && \ llamafactory-cli webui

USE_MODELSCOPE_HUB设为1，表示模型来源是ModelScope

 然后就进入到了web界面：

数据集使用上述下载的train.json，点击「预览数据集」可以预览一下数据 

设置学习率为1e-4，梯度累积为2，有利于模型拟合，其他的可以按需调整；

将输出目录修改为train_llama3，训练后的LoRA权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数，点击「开始」启动模型微调！

选择「Evaluate&Predict」栏，在数据集下拉列表中选择「eval」（验证集）评估模型。

点击开始然后开始评估模型，大概三分钟，这里跳过。。。

选择「Chat」栏，确保适配器路径是train_llama3，点击「加载模型」即可在Web UI中和微调模型进行对话。 

模型微调之前的对话：

微调之后：

总结

**LLaMA Factory开源低代码大模型微调框架亮点总结**
**框架简介**：
LLaMA Factory是一款流行的开源低代码大模型微调框架，集成了业界广泛应用的微调技术，支持通过Web UI界面零代码微调大模型，已成为开源社区内最受欢迎的微调解决方案。
**推荐硬件配置**：
- **GPU**：建议使用拥有24GB或以上显存的A10（`ecs.gn7i-c8g1.2xlarge`）或更高级别配置。
- **镜像**：官方推荐DSW镜像 `modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04` 以优化体验。
**使用指南：**
1. **安装LLaMA Factory**：
- 通过Git拉取项目并安装必要的依赖环境，包括`pip`命令安装`llamafactory[metrics]`和`accelerate`等包。
- 使用`llamafactory-cli version`命令检查安装是否成功。
2. **准备数据集**：
- LLaMA-Factory内置丰富数据集，用户可将自定义数据处理为特定格式放置于`data`文件夹下，并修改`dataset_info.json`文件以描述数据集。
- 官方给出了包括`instruction`（指令）、`input`（输入）、`output`（输出）等字段的Alpaca格式示例。
3. **下载官方数据集**：
- 提供命令行方式下载并解压官方数据集，便于快速开始模型微调。
4. **模型微调**：
- 除了通过命令行操作，还支持通过启动webui界面进行更直观的模型微调与推理。
- 在webui中，上传或选择已准备好的数据集，调整学习率、梯度累积等参数以适应不同微调需求。
- 开始微调后，所有LoRA权重将保存在指定目录中，用户可评估模型训练结果并进行验证。
5. **模型应用**：
- 完成微调后，通过webui界面中的“Chat”功能加载微调后的模型进行实时对话测试，检验微调效果。
**总结**：
LLaMA Factory凭借其低代码、易上手的特点，以及丰富的数据集支持和强大的模型微调能力，为用户提供了从数据准备到模型部署的一站式解决方案，是进行大语言模型微调研究和应用的理想选择。无论是研究人员还是开发者，都能通过这一框架快速实现模型的优化与应用。 llamacto数据集模型微调webjsonwebui大模型git低代码gpuclistemelttpu代码大模型命令行alpacaxlagpt