使用SageMaker对Whisper模型进行微调及部署教程

amazon-sagemaker-finetune-deploy-whisper-huggingface This is a demo project showing how to fine-tune and deploy the Whisper model on SageMaker. 项目地址: https://gitcode.com/gh_mirrors/am/amazon-sagemaker-finetune-deploy-whisper-huggingface

项目介绍

本项目展示了如何使用Amazon SageMaker对OpenAI的Whisper模型进行微调（Fine-tuning）和部署。Whisper是OpenAI开源的自动语音识别（ASR）模型，采用了编码器-解码器（encoder-decoder）transformer架构，并使用了大量多语言、多任务的已标注数据进行训练。通过本项目，您可以在SageMaker平台上对Whisper模型进行微调，并将其部署为可用的服务。

项目快速启动

1. 克隆项目仓库

首先，克隆本项目的GitHub仓库到本地：

git clone https://github.com/aws-samples/amazon-sagemaker-finetune-deploy-whisper-huggingface.git cd amazon-sagemaker-finetune-deploy-whisper-huggingface

2. 设置环境

确保您已经安装了必要的依赖项。您可以使用以下命令安装所需的Python包：

pip install -r requirements.txt

3. 数据准备

在SageMaker Studio Notebook中加载并处理数据。以下是一个简单的数据加载和预处理示例：

from datasets import load_dataset # 加载Common Voice数据集 dataset = load_dataset("mozilla-foundation/common_voice_11_0", "zh-TW") # 数据预处理 # 例如，下采样音频到16kHz，提取特征等 # 具体代码请参考zhtw-data.ipynb

4. 微调模型

使用SageMaker进行模型微调。以下是一个简单的微调示例：

from sagemaker.huggingface import HuggingFace # 设置训练参数 hyperparameters = { 'epochs': 3, 'train_batch_size': 8, 'model_name_or_path': 'openai/whisper-small' } # 创建HuggingFace Estimator huggingface_estimator = HuggingFace( entry_point='train.py', source_dir='.', instance_type='ml.p3.2xlarge', instance_count=1, hyperparameters=hyperparameters ) # 开始训练 huggingface_estimator.fit({'train': 's3://your-bucket/path/to/train', 'test': 's3://your-bucket/path/to/test'})

5. 模型部署

训练完成后，您可以将模型部署为SageMaker Endpoint：

from sagemaker.huggingface import HuggingFaceModel # 创建HuggingFace Model huggingface_model = HuggingFaceModel( model_data='s3://your-bucket/path/to/model.tar.gz', role='YourSageMakerRole', transformers_version='4.6', pytorch_version='1.7', py_version='py36' ) # 部署模型 predictor = huggingface_model.deploy( initial_instance_count=1, instance_type='ml.m5.xlarge' )

应用案例和最佳实践

应用案例

语音识别服务：将微调后的Whisper模型部署为语音识别服务，用于实时语音转文字。多语言支持：通过微调Whisper模型，使其支持更多语言的语音识别。

最佳实践

数据预处理：确保数据预处理步骤与模型要求一致，避免特征提取错误。超参数调优：根据具体任务调整训练超参数，如学习率、批次大小等。模型监控：部署后定期监控模型性能，确保服务质量。

典型生态项目

HuggingFace Transformers：提供了Whisper模型的基础实现，支持多种预训练模型和微调功能。 Amazon SageMaker：提供了强大的机器学习平台，支持模型训练、部署和监控。 Common Voice：Mozilla开源的语音数据集，适用于多种语言的语音识别任务。

通过本教程，您可以快速上手使用SageMaker对Whisper模型进行微调和部署，并将其应用于实际的语音识别任务中。

总结

### 文章总结：《使用SageMaker对Whisper模型进行微调及部署教程》
本文提供了一个详尽的教程，展示了如何借助Amazon SageMaker平台对OpenAI的Whisper自动语音识别（ASR）模型进行微调和部署。Whisper模型以其编码器-解码器transformer架构和多语言、多任务训练数据闻名，适合进行复杂的语音识别任务。
#### 项目概述
- **目标**：在SageMaker上微调并部署Whisper语音识别模型。
- **平台**：Amazon SageMaker，结合Hugging Face库。
- **来源**：项目源码可见于GitHub仓库（[项目地址](https://github.com/aws-samples/amazon-sagemaker-finetune-deploy-whisper-huggingface)）或GitCode镜像（[GitCode地址](https://gitcode.com/gh_mirrors/am/amazon-sagemaker-finetune-deploy-whisper-huggingface)）。
#### 快速启动指南
1. **克隆项目**：从GitHub仓库克隆项目到本地机器。
2. **环境设置**：通过pip安装必要的Python包。
3. **数据准备**：加载并预处理数据（示例中使用Common Voice数据集）。
4. **模型微调**：使用SageMaker Hugging Face Estimator配置训练参数，如epoch、批次大小、基础模型路径等，并开启训练。
5. **模型部署**：训练完成后，将模型部署为SageMaker Endpoint，用于实时语音转文字服务。
#### 应用案例与最佳实践
- **应用案例**：
- **语音识别服务**：实现语音到文字的实时转换。
- **多语言支持**：通过微调支持更多语言的识别任务。
- **最佳实践**：
- **数据预处理**：确保数据符合模型训练要求。
- **超参数调优**：针对具体任务调优化训练过程。
- **模型监控**：定期评估模型性能以保证服务质量。
#### 生态项目支持
- **Hugging Face Transformers**：提供丰富的预训练模型和微调功能，是 Whisper模型的基础框架支持。
- **Amazon SageMaker**：作为强大的机器学习平台，支持从训练、部署到监控的一站式服务。
- **Common Voice**：Mozilla开源的多语种语音数据集，适合进行多语言语音识别任务。
通过本教程，开发者和数据科学家可以快速上手Amazon SageMaker，实现对Whisper模型的微调和部署，进而将其应用于多种实际场景中的语音识别任务。 sagemakerwhisperhuggingfaceamazongit语音识别code多语言githubtransformer模型部署mmo数据预处理数据集openai最佳实践erpmozillatransformersrpa