Windows下安装LLama-Factory

Windows下安装LLama-Factory

    正在检查是否收录...
一言准备中...

        在进行安装前,请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。并且确定你安装了显卡驱动版本在官方给的版本以上,如果没有安装,详细参考我的另一篇文章:LLama-Factory运行异常,CUDA没安装,nvidia-smi的版本假的?-CSDN博客

        注意nvidia-smi不一定是你的版本,我也被坑了一次,然后重新装了一遍。

一、下载LLamaFactory

       llama-factory地址,如果你使用git拉取代码,可能会因为网络问题拉取失败,可以多试几次,或者直接下载文件包。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

二、环境准备

        针对LLamaFactory的安装软硬件环境,官方文档已经给出了软硬件的要求:

·        如果你有Python环境可以直接进行跳过以下步骤,如果你是conda选手需要创建虚拟环境并且激活环境。

        新建虚拟环境

conda create -n llama_factory python=3.11 -y

        激活虚拟环境

conda activate llama_factory

三、依赖安装

        确认你的Python环境生效,在你的LLama-Factory的文件夹下执行以下命令

        在LLama-Factory的官方文档中,有各个依赖,推荐是按需下载,我这里省事直接全部下载了

pip install -e . 

        按需下载

pip install -e .[metrics,modelscope,qwen]

官方给的额外依赖项:torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

        安装torch依赖-->gpu版本

        这里你可以去官方链接找你的版本,只要下翻就能看见或者查看更多版本。这里一定要确认你的cuda版本,可以向下兼容,如果你是conda环境请选Conda。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

       安装成功可以在Python环境下使用下面命令,如果是True,则安装成功

import torch torch.cuda.is_available()

         针对windows用户,官方要求安装bitsandbytes

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

        安装tensorboard与启用ModelScope Hub (这两个命令我没有在官方中看到必须,但我参考了其他博客试了一遍,对项目也没影响我也执行了)

pip install tensorboard
Set USE MODELSCOPE HUB=1

四、启动项目

        两种方式都可以

llamafactory-cli webui

python src/webui.py

         如果顺利:

总结

**LLamaFactory安装指南**
**一、准备工作**
1. **确认GPU显存**:安装前请检查你的GPU显存是否满足训练需求。如显存较小(如4GB),可考虑使用云计算资源或升级显卡。
2. **显卡驱动安装**:请确保安装了正确版本(或以上版本)的显卡驱动。若未安装,可参考相关指南进行安装。
**二、下载LLamaFactory**
通过git或直接下载文件包获取LLamaFactory的代码。
**三、环境搭建**
1. **Python环境**:已存在Python环境的用户可以跳过,未安装的用户或希望使用conda的用户,需新建并激活虚拟环境。
2. **依赖安装**:
- 在LLama-Factory文件夹下执行`pip install -e .`以安装所有依赖(或按需安装)。
- 安装torch(GPU版),注意与CUDA版本兼容。
- Windows用户需额外安装`bitsandbytes`。
- 可选安装`tensorboard`和启用`ModelScope Hub`(参考官方或博客文档)。
**四、项目启动**
可通过命令行`llamafactory-cli webui`或`python src/webui.py`两种方式启动LLamaFactory项目。如启动顺利,将进入相应界面。
**注意事项**:
- 安装过程中注意检查版本兼容性,特别是CUDA版本与torch版本的匹配。
- 如有安装或运行问题,可参考官方文档、相关博客或社区讨论寻求帮助。
- 保持更新:技术更新快速,建议及时查看LLamaFactory的更新和文档变更。 llamactopythongitwebwebuigpu虚拟环境windowscligithub文件夹命令行pytorchgpt兼容性llm计算资源iva社区讨论
  • 本文作者:WAP站长网
  • 本文链接: https://wapzz.net/post-18390.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.7W+
9
1
2
WAP站长官方

视频大语言模型调研论文《Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding》解读

上一篇

Llama 3模型:更自由、更强大的AI对话体验

下一篇
  • 复制图片
按住ctrl可打开默认菜单