Windows下安装BigDL-LLM的总结(附Whisper加速环境需求)

Windows下安装BigDL-LLM的总结(附Whisper加速环境需求)

    正在检查是否收录...

1. 下载安装Anaconda

2. 新建Python虚拟环境

在Windows下启动Anaconda PowerShell Prompt,输入以下命令新建名为bigdl-llm的虚拟环境

conda create -n bigdl-llm python=3.9 

从base切换虚拟环境至bigdl-llm

conda activate bigdl-llm 

3. 安装jupyter、BigDL-LLM

pip install jupyter pip install --pre --upgrade bigdl-llm[all] pip install -U librosa 

如果pip下载安装缓慢,建议切为国内镜像源,例如清华源,操作如下

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 

启动jupyter服务

jupyter notebook 

4. 安装Chocolatey

Chocolatey 是 windows 下一款命令行包管理软件 ,简单说这就是 Windows 的 apt-get
以管理员身份运行PowerShell,运行以下

Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1')) 

验证是否安装成功

choco -v 

5. 安装whisper

pip install -U openai-whisper 

因为需要用到ffmpeg,所以使用Chocolatey进行安装
安装ffmpeg(on Windows using Chocolatey),运行以下

choco install ffmpeg 

6. 安装Visual Studio 2022 社区版

安装时选择“使用 C++ 的桌面开发”

7. 安装或更新最新的GPU驱动

8. 安装Intel® oneAPI Base Toolkit 2024.0

pip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0 

9. GPU方式使用BigDL-LLM

如果已安装过虚拟环境,只缺少libuv,则可

conda install libuv 

安装BigDL-LLM(GPU方式)有两种方式

通过PyPI
pip install --pre --upgrade bigdl-llm[xpu] -f https://developer.intel.com/ipex-whl-stable-xpu 
通过Wheel
如果网络不好,可以在https://developer.intel.com/ipex-whl-stable-xpu根据您的系统环境选择下载torch、torchvision、intel_extension_for_pytorch的对应的whl后再进行安装
pip install torch-2.1.0a0+cxx11.abi-cp39-cp39-win_amd64.whl pip install torchvision-0.16.0a0+cxx11.abi-cp39-cp39-win_amd64.whl pip install intel_extension_for_pytorch-2.1.10+xpu-cp39-cp39-win_amd64.whl pip install --pre --upgrade bigdl-llm[xpu] 

10. 环境变量配置

Intel iGPU 下

set SYCL_CACHE_PERSISTENT=1 set BIGDL_LLM_XMX_DISABLED=1 

Intel Arc™ A300-Series or Pro A60 下

set SYCL_CACHE_PERSISTENT=1 

对于每个模型第一次在Intel iGPU/Intel Arc™ A300-Series or Pro A60下运行时,都需要几分钟暖机

llmintelgpuwindows2024jupyter虚拟环境stemshellwhisperpowershellpytorchpythonelomun管理员ivacreateunitweb
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-11514.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

【Stable Diffusion】高效率视频转AI动画!EbSynth插件全流程操作

上一篇

AI帮写会重复吗:深度剖析AI写作工具的独特性与重复性

下一篇
  • 复制图片
按住ctrl可打开默认菜单