安装和微调大模型（基于LLaMA-Factory）2-补充资料

安装代码

https://github.com/echonoshy/cgft-llm/blob/master/llama-factory/README.md

https://github.com/hiyouga/LLaMA-Factory/tree/mainLLaMA-Factoryhttps://github.com/hiyouga/LLaMA-Factory/tree/main

【大模型微调】- 使用Llama Factory实现中文llama3微调_哔哩哔哩_bilibili

​ git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e . ​

启动UI

cd LLaMA-Factory llamafactory-cli webui CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/webui.py

 

查看命令有没有装好

llamafactory-cli -h

gpu占有情况

nvitop

地址

pwd

微调命令（构建 cust/train_llama3_lora_sft.yaml）

（命令行执行：llamafactory-cli train cust/train_llama3_lora_sft.yaml）

(打开ui:  llamafactory-cli webchat cust/train_llama3_lora_sft.yaml)

 cutoff_len: 1024 dataset: fintech,identity dataset_dir: data do_train: true finetuning_type: lora flash_attn: auto fp16: true gradient_accumulation_steps: 8 learning_rate: 0.0002 logging_steps: 5 lora_alpha: 16 lora_dropout: 0 lora_rank: 8 lora_target: q_proj,v_proj lr_scheduler_type: cosine max_grad_norm: 1.0 max_samples: 1000 model_name_or_path: /root/autodl-tmp/models/Llama3-8B-Chinese-Chat num_train_epochs: 10.0 optim: adamw_torch output_dir: saves/LLaMA3-8B-Chinese-Chat/lora/train_2024-05-25-20-27-47 packing: false per_device_train_batch_size: 2 plot_loss: true preprocessing_num_workers: 16 report_to: none save_steps: 100 stage: sft template: llama3 use_unsloth: true warmup_steps: 0

总结

**总结文章**：
本文指导如何安装并使用`LLaMA Factory`，特别针对中文的`llama3`模型进行微调。以下是详细步骤：
1. **安装LLaMA Factory**：
- 使用Git将`LLaMA-Factory`仓库克隆到本地。
- 进入仓库目录并使用pip以可编辑模式安装`LLaMA-Factory`。
2. **启动用户界面**：
- 可以使用命令行工具`llamafactory-cli`配合参数`webui`来启动Web用户界面。
- 另外，也可以直接运行Python脚本`src/webui.py`来启动UI，需设置环境变量以利用ModelScope Hub和指定CUDA设备。
3. **检查安装和了解GPU使用情况**：
- 通过执行`llamafactory-cli -h`可以查看命令行工具的帮助信息，检验是否安装成功。
- 使用`nvitop`可以查看GPU的占用情况。
4. **确认当前工作目录**：
- 使用`pwd`命令查看当前的工作目录，确保在正确的项目目录中操作。
5. **执行微调操作**：
- 构建微调配置文件（如`cust/train_llama3_lora_sft.yaml`），并设置所需的参数。
- 通过命令行执行微调任务：`llamafactory-cli train cust/train_llama3_lora_sft.yaml`。
- 同时，也可以使用UI界面启动微调任务：`llamafactory-cli webchat cust/train_llama3_lora_sft.yaml`。
微调配置文件（如`train_llama3_lora_sft.yaml`）包含了一系列重要参数，如数据集的路径、训练轮次、学习率、是否启用半精度等，都会影响模型训练的效果与性能。
总结来说，本文提供了一个详细的流程，从安装、配置到执行`llama3`模型的中文微调，帮助用户快速上手并使用`LLaMA Factory`进行大语言模型的训练与优化。 llamactocliamlwebgitwebuichat命令行githubgpupython命令行工具用户界面2024clonetpu语言模型python脚本ide