环境配置
torch>=1.13.0已经不在支持CUDA11.3以下的版本了，CUDA版本必须升级，可以查看
nvidia-smi
在conda虚拟环境中安装的cuda版本必须<=CUDA Version
多GPU跑
config，位置/.cache/huggingface/accelerate
compute_environment: LOCAL_MACHINE distributed_type: MULTI_GPU downcast_bf16: 'no' gpu_ids: 0,1,2,3,4,5,6,7 machine_rank: 0 main_training_function: main mixed_precision: fp16 num_machines: 1 num_processes: 6 rdzv_backend: static same_network: true tpu_env: [] tpu_use_cluster: false tpu_use_sudo: false use_cpu: false .sh文件
CUDA_VISIBLE_DEVICES=2,3,4,5,6,7 accelerate launch src/train_bash.py \ --stage sft \ --model_name_or_path /mnt/ganyang/bloomz-560m \ --do_train \ --dataset alpaca_gpt4_zh \ --template default \ --finetuning_type lora \ --lora_target query_key_value \ --output_dir /mnt/ganyang/outputs/bloomz_560m_gpus \ --overwrite_cache \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 1000 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --plot_loss \ --fp16 
