一、注册与购买autodl实例
注册了autodl账号以后，我们便可以在网站首页看到具体的实例信息，同时能够观察其具体的系统盘与数据盘以及缓存大小，对于我们即将微调的llama3开源大模型来说，通过资料的查询了解，我们只需要24G显存就可以实现对llama3的部署与微调，因此我们选择了一张RTX 4090D显卡（显存为24GB）。
购买了实例后，具体界面如下，打开实例后的界面如下，我们具体使用其自带的JupyterLab实现我们的具体部署与微调。
二、下载安装llama-factory
在终端页面输入conda activate LLaMA-Factory进行llama-factory的虚拟环境的安装，llama-factory提供了很多种微调方式，并且能够支持市面上近乎所有的已有开源大模型的部署与微调工作，因此我们安装该环境。
安装指令：（从其github官网获取）
git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[metrics] # 下载全部依赖下载完成后的界面如下：
三、安装大模型llama3-8B
我们利用魔搭平台提供的镜像进行下载，可以将这段代码导入至ipykernel，然后直接运行。
# pip install modelscope
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct', cache_dir='/root/autodl-tmp', revision='master')
至此，Meta-Llama-3-8B-Instruct完整模型安装完毕，安装完后的文件格式应该如下图所示。
至此，模型的部署全部结束，进一步就是对其实现微调。
总结
**总结文章**本文详细介绍了如何使用autodl实例注册并购买适合运行Llama3大模型的RTX 4090D显卡配置，并通过一系列步骤完成Llama3-8B大模型的下载、安装与准备进行微调的过程。主要内容概述如下：
1. **注册与购买autodl实例**：
- 用户在autodl平台注册后，可以查看并选择实例规格。针对Llama3模型的微调需求，选定了拥有24GB显存的RTX 4090D显卡实例。
- 购买后，利用实例内自带的JupyterLab进行后续的模型部署与微调操作。
2. **下载安装Llama-factory环境**：
- 在实例终端通过conda激活Llama-factory虚拟环境，这是为支持多种大模型的部署与微调而准备的专业环境。
- 从Github仓库（`https://github.com/hiyouga/LLaMA-Factory.git`）克隆Llama-factory，并执行pip命令安装必要的依赖，确保所有工具就绪。
3. **安装大模型Llama3-8B**：
- 借助魔搭平台提供的镜像与pip包管理工具（`pip install modelscope`），用户能方便地下载Llama3-8B大模型。
- 使用modelscope库的`snapshot_download`函数指定模型版本和缓存路径，下载Meta-Llama-3-8B-Instruct完整模型到实例指定目录。
- 验证安装成功后，模型的格式符合预期，标志着模型的部署准备工作已经完成，下一步可以进行模型微调。
通过以上步骤，用户可以在autodl实例中高效地准备并部署Llama3-8B大模型，为后续的模型微调实验奠定基础。 llamacto大模型gitgithubsnap模型微调虚拟环境开源大模型jupyter模型部署llm管理工具ivatoken文件格式clone
