LLMs之Llama3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集实现CLI方式/GUI傻瓜可视化方式进行LoRA指令微调→模型推理测试→CLI方式合并权重
目录
基于colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5倍~30+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集实现CLI方式/GUI傻瓜可视化方式进行LoRA指令微调→模型推理测试→CLI方式合并权重
# 1、安装依赖
# 1.1、克隆 LLaMA-Factory 仓库并安装必要的 Python 包，包括 unsloth、xformers 和 bitsandbytes。
# 1.2、检查 GPU 环境，确保可以使用 Colab 的 Tesla T4 GPU。
# 2、更新身份数据集：
# 3、模型微调
# T1、通过 LLaMA Board 微调模型：
# T2、通过命令行微调模型：It takes ~30min for training.
# 4、模型推理
# 5、合并 LoRA 适配器并可选地上传模型：
实现代码
基于colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5倍~30+减少50%的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集实现CLI方式/GUI傻瓜可视化方式进行LoRA指令微调→模型推理测试→CLI方式合并权重
# 1、安装依赖
# 1.1、克隆 LLaMA-Factory 仓库并安装必要的 Python 包，包括 unsloth、xformers 和 bitsandbytes。
# 1.2、检查 GPU 环境，确保可以使用 Colab 的 Tesla T4 GPU。
# 2、更新身份数据集：
# 读取并修改 identity.json 文件，替换其中的占位符为 “Llama-3” 和 “LLaMA Factory”。
# 这一步骤是为了个性化训练数据，确保模型能够生成与特定身份相关的回复。
# 3、模型微调
# T1、通过 LLaMA Board 微调模型：
# 使用 llamafactory-cli 命令行工具启动一个 Web UI 界面，可能用于监控和调整微调过程。
# T2、通过命令行微调模型：It takes ~30min for training.
# 定义微调参数，包括使用的模型、数据集、模板、微调类型（此处使用 LoRA 适配器）、输出目录、批处理大小、学习率调度器、日志步骤等。
# 使用 llamafactory-cli 命令行工具开始微调过程。
# 这一步使用的技术包括 LoRA 适配器（用于节省内存）、4位量化、LoRA+ 算法以及浮点16混合精度训练。
# 4、模型推理
# 推断微调后的模型：用于测试和验证微调后的模型性能。
# 设置模型参数，加载微调时使用的 LoRA 适配器，并初始化一个 ChatModel 实例。
# 通过 CLI 应用程序与模型交互，输入查询并接收模型的生成文本。
f
# 5、合并 LoRA 适配器并可选地上传模型：
# 定义参数以合并 LoRA 适配器到原始模型，并指定输出目录。
# 使用 llamafactory-cli 命令行工具执行导出操作。
# 注意，由于 Colab 免费版本内存限制，无法在此环境中合并 8B 的模型。
实现代码
源码地址：https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing#scrollTo=kTESHaFvbNTr
''' Finetune Llama-3 with LLaMA Factory Please use a free Tesla T4 Colab GPU to run this! 4月22日 源码地址：https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing#scrollTo=kTESHaFvbNTr ''' # 1、安装依赖 # 1.1、克隆 LLaMA-Factory 仓库并安装必要的 Python 包，包括 unsloth、xformers 和 bitsandbytes。 %cd /content/ %rm -rf LLaMA-Factory !git clone https://github.com/hiyouga/LLaMA-Factory.git %cd LLaMA-Factory %ls !pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" !pip install --no-deps xformers==0.0.25 !pip install .[bitsandbytes] # 1.2、检查 GPU 环境，确保可以使用 Colab 的 Tesla T4 GPU。 import torch try: assert torch.cuda.is_available() is True except AssertionError: print("Please set up a GPU before using LLaMA Factory: https://medium.com/mlearning-ai/training-yolov4-on-google-colab-316f8fff99c6") # 2、更新身份数据集： # 读取并修改 identity.json 文件，替换其中的占位符为 “Llama-3” 和 “LLaMA Factory”。 # 这一步骤是为了个性化训练数据，确保模型能够生成与特定身份相关的回复。 import json NAME = "Llama-3" AUTHOR = "LLaMA Factory" with open("data/identity.json", "r", encoding="utf-8") as f: dataset = json.load(f) for sample in dataset: sample["output"] = sample["output"].replace("{{"+ "name" + "}}", NAME).replace("{{"+ "author" + "}}", AUTHOR) with open("data/identity.json", "w", encoding="utf-8") as f: json.dump(dataset, f, indent=2, ensure_ascii=False) # 3、模型微调 # T1、通过 LLaMA Board 微调模型： # 使用 llamafactory-cli 命令行工具启动一个 Web UI 界面，可能用于监控和调整微调过程。 %cd /content/LLaMA-Factory/ !GRADIO_SHARE=1 llamafactory-cli webui # T2、通过命令行微调模型：It takes ~30min for training. # 定义微调参数，包括使用的模型、数据集、模板、微调类型（此处使用 LoRA 适配器）、输出目录、批处理大小、学习率调度器、日志步骤等。 # 使用 llamafactory-cli 命令行工具开始微调过程。 # 这一步使用的技术包括 LoRA 适配器（用于节省内存）、4位量化、LoRA+ 算法以及浮点16混合精度训练。 import json args = dict( stage="sft", # do supervised fine-tuning do_train=True, model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # use bnb-4bit-quantized Llama-3-8B-Instruct model dataset="identity,alpaca_gpt4_en", # use alpaca and identity datasets template="llama3", # use llama3 prompt template finetuning_type="lora", # use LoRA adapters to save memory lora_target="all", # attach LoRA adapters to all linear layers output_dir="llama3_lora", # the path to save LoRA adapters per_device_train_batch_size=2, # the batch size gradient_accumulation_steps=4, # the gradient accumulation steps lr_scheduler_type="cosine", # use cosine learning rate scheduler logging_steps=10, # log every 10 steps warmup_ratio=0.1, # use warmup scheduler save_steps=1000, # save checkpoint every 1000 steps learning_rate=5e-5, # the learning rate num_train_epochs=3.0, # the epochs of training max_samples=500, # use 500 examples in each dataset max_grad_norm=1.0, # clip gradient norm to 1.0 quantization_bit=4, # use 4-bit QLoRA loraplus_lr_ratio=16.0, # use LoRA+ algorithm with lambda=16.0 use_unsloth=True, # use UnslothAI's LoRA optimization for 2x faster training fp16=True, # use float16 mixed precision training ) json.dump(args, open("train_llama3.json", "w", encoding="utf-8"), indent=2) %cd /content/LLaMA-Factory/ !llamafactory-cli train train_llama3.json # 4、模型推理 # 推断微调后的模型：用于测试和验证微调后的模型性能。 # 设置模型参数，加载微调时使用的 LoRA 适配器，并初始化一个 ChatModel 实例。 # 通过 CLI 应用程序与模型交互，输入查询并接收模型的生成文本。 from llmtuner.chat import ChatModel from llmtuner.extras.misc import torch_gc %cd /content/LLaMA-Factory/ args = dict( model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # use bnb-4bit-quantized Llama-3-8B-Instruct model adapter_name_or_path="llama3_lora", # load the saved LoRA adapters template="llama3", # same to the one in training finetuning_type="lora", # same to the one in training quantization_bit=4, # load 4-bit quantized model use_unsloth=True, # use UnslothAI's LoRA optimization for 2x faster generation ) chat_model = ChatModel(args) messages = [] print("Welcome to the CLI application, use `clear` to remove the history, use `exit` to exit the application.") while True: query = input("\nUser: ") if query.strip() == "exit": break if query.strip() == "clear": messages = [] torch_gc() print("History has been removed.") continue messages.append({"role": "user", "content": query}) print("Assistant: ", end="", flush=True) response = "" for new_text in chat_model.stream_chat(messages): print(new_text, end="", flush=True) response += new_text print() messages.append({"role": "assistant", "content": response}) torch_gc() # 5、合并 LoRA 适配器并可选地上传模型： # 定义参数以合并 LoRA 适配器到原始模型，并指定输出目录。 # 使用 llamafactory-cli 命令行工具执行导出操作。 # 注意，由于 Colab 免费版本内存限制，无法在此环境中合并 8B 的模型。 # NOTE: the Colab free version has merely 12GB RAM, where merging LoRA of a 8B model needs at least 18GB RAM, thus you cannot perform it in the free version. # !huggingface-cli login import json args = dict( model_name_or_path="meta-llama/Meta-Llama-3-8B-Instruct", # use official non-quantized Llama-3-8B-Instruct model adapter_name_or_path="llama3_lora", # load the saved LoRA adapters template="llama3", # same to the one in training finetuning_type="lora", # same to the one in training export_dir="llama3_lora_merged", # the path to save the merged model export_size=2, # the file shard size (in GB) of the merged model export_device="cpu", # the device used in export, can be chosen from `cpu` and `cuda` #export_hub_model_id="your_id/your_model", # the Hugging Face hub ID to upload model ) json.dump(args, open("merge_llama3.json", "w", encoding="utf-8"), indent=2) %cd /content/LLaMA-Factory/ !llamafactory-cli export merge_llama3.json 
