在阿里云上用LLaMA-Factory微调大模型

正在检查是否收录...

相信很多小伙伴都想自己手搓大模型，所以有大佬做了LLaMA-Factory，但是有工具还不行，还得有环境，说实话，我现在每天除了上班就是带孩子，连游戏都没得打，所以自己连个有GPU的电脑都没[苦笑]。

基于以上前提条件，唯一方法只得通过云服务来帮我们微调大模型。

首先，我尝试用谷歌的Colab去跑，这个脚本LLaMA-Factory已经给写好了，但是问题是谷歌Colab免费版太渣，一天就给用半小时，你感受过微调到一半服务不给用的尴尬吗？

然后，我尝试找国内平替，比如Openl启智社区，用下来感觉不好用，你们可以去试试

openi.pcl.ac.cn/http://openi.pcl.ac.cn/

最后，找到了阿里云，有个DSW的服务，类似谷歌的Colab，目前可以免费包3个月，让你短期尽情手搓大模型，注意这个PAI下面只有DSW是有免费试用，不要尝试去用别的，不要问我怎么知道的。。

阿里云上云优选，实惠共享阿里云发布经济型e实例，开发者/初创企业首选云服务器，性能可升级，低价可持续，续费不涨价！https://www.aliyun.com/daily-act/ecs/activity_selection?userCode=lcpt2xut

什么是DSW_人工智能平台 PAI(PAI)-阿里云帮助中心DSW（Data Science Workshop）是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，提供代码编写、调试及运行的沉浸式体验。DSW提供丰富的异构计算资源，支持挂载OSS、NAS、CPFS类型的数据集，预置了多种开源框架的镜像，支持实例的生命周期管理，实现开箱即用的高效开发模式。https://help.aliyun.com/zh/pai/user-guide/dsw-overview?source=5176.11533457&userCode=lcpt2xut好了，工具找到了，下面开始搞事情。

1.创建实例

注意一定要选免费试用的资源，比如镜像，GPU之类

进入DSW界面，看是不是跟Colab挺像，然后把Colab的脚本拷过来，改把改把

2.微调大模型

不知道为什么阿里云跑LLaMA-Factory WebUI总报错，说是gradio缺少frpc_linux_amd64_v0.2，下载的话又下不动，本地下认为是病毒，太搞了，所以放弃WebUI直接命令行吧。

还有个很普遍的问题是，Huggingface对国内不友好，阿里云下模型基本下不动，所以只能尝试用modelscope. 虽然LLaMA-Factory的大佬也设置了modelscope选项，但尝试直接设置环境变量不好使。

最终，只能修改LLaMA-Factory的源代码，在\src\llmtuner\extras下直接改成只从modelscope下模型就好了，下载速度还挺快。

还有这些参数，可能跟WebUI上的不一样，需要注意

然后就是Cell by Cell跑就行了

3.微调效果

我拿了个Beautiful中国话数据集，训练出来脾气好冲[苦笑]

最后，执行merge和export之类操作，就大功告成了！