1 Llama 3 Web Demo 部署
本博客为基于机智流、Datawhale、ModelScope：Llama3-Tutorial（Llama 3 超级课堂）的作业。
1.1 环境部署
使用VSCode远程连接InterStudio开发机，并配置 VSCode 端口映射
使用conda创建虚拟环境，并安装对应的库
conda create -n llama3 python=3.10 conda activate llama3 conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia 1.2 实践教程（InternStudio 版）
新建文件夹
mkdir -p ~/model cd ~/model从OpenXLab中获取权重（开发机中不需要使用此步）
安装 git-lfs 依赖
# 如果下面命令报错则使用 apt install git git-lfs -y conda install git-lfs git-lfs install 下载模型或软链接 InternStudio 中的模型（建议使用软链接方式）
#下载模型 git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct #软链接方式 ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct 1.3 WebDemo部署
下载课程代码
cd ~ git clone https://github.com/SmartFlowAI/Llama3-Tutorial 安装 XTuner （会自动安装其他依赖）
cd ~ git clone -b v0.1.18 https://github.com/InternLM/XTuner cd XTuner pip install -e . 运行 web_demo.py
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \ ~/model/Meta-Llama-3-8B-Instruct 配置端口转发
最终效果
2 XTuner 微调
2.1 自我认知训练数据集准备
cd ~/Llama3-Tutorial python tools/gdata.py 2.2 XTuner配置文件准备
使用 configs/assistant/llama3_8b_instruct_qlora_assistant.py 配置文件
2.3 训练模型
cd ~/Llama3-Tutorial # 开始训练,使用 deepspeed 加速，A100 40G显存 耗时24分钟 xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth # Adapter PTH 转 HF 格式 xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \ /root/llama3_pth/iter_500.pth \ /root/llama3_hf_adapter # 模型合并 export MKL_SERVICE_FORCE_INTEL=1 xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \ /root/llama3_hf_adapter\ /root/llama3_hf_merged #注意，路径前面要加空格，否则merge.py会报错，识别不到save_dir. 2.4 验证
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \ /root/llama3_hf_merged 3 LMDeploy 部署 Llama 3
3.1 环境配置
# studio-conda -t lmdeploy -o pytorch-2.1.2 # 初始化环境 conda create -n lmdeploy python=3.10 conda activate lmdeploy conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia安装lmdeploy最新版
pip install -U lmdeploy[all]3.2 LMDeploy Chat CLI 工具
在终端运行
conda activate lmdeploy lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct3.3 LMDeploy模型量化(lite)
3.3.1 设置最大KV Cache缓存大小
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ # 如果你是InternStudio 就使用 # studio-smi nvidia-smi 此时模型的占用为33236M。下面，改变--cache-max-entry-count参数，设为0.5。
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5新建一个终端运行
# 如果你是InternStudio 就使用 # studio-smi nvidia-smi 把--cache-max-entry-count参数设置为0.01，约等于禁止KV Cache占用显存。
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.013.3.2 使用W4A16量化
lmdeploy lite auto_awq \ /root/model/Meta-Llama-3-8B-Instruct \ --calib-dataset 'ptb' \ --calib-samples 128 \ --calib-seqlen 1024 \ --w-bits 4 \ --w-group-size 128 \ --work-dir /root/model/Meta-Llama-3-8B-Instruct_4bit下面使用Chat功能运行W4A16量化后的模型。
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq将KV Cache比例再次调为0.01，查看显存占用情况。
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01可以看到，显存占用变为6738MB，明显降低。
3.3.3 在线量化 KV
自 v0.4.0 起，LMDeploy KV 量化方式有原来的离线改为在线。并且，支持两种数值精度 int4、int8。量化方式为 per-head per-token 的非对称量化。
3.4 LMDeploy服务（serve）
3.4.1 启动API服务器
lmdeploy serve api_server \ /root/model/Meta-Llama-3-8B-Instruct \ --model-format hf \ --quant-policy 0 \ --server-name 0.0.0.0 \ --server-port 23333 \ --tp 13.4.2 命令行客户端连接API服务器
通过VS Code新建一个终端： 激活conda环境
conda activate lmdeploy运行命令行客户端
lmdeploy serve api_client http://localhost:233333.4.3 网页客户端连接API服务器
关闭刚刚的VSCode终端，但服务器端的终端不要关闭。 运行之前确保自己的gradio版本低于4.0.0。
pip install gradio==3.50.2新建一个VSCode终端，激活conda环境。使用Gradio作为前端，启动网页客户端。
conda activate lmdeploy lmdeploy serve gradio http://localhost:23333 \ --server-name 0.0.0.0 \ --server-port 6006
