基于whisper流式语音识别

正在检查是否收录...

为了实现持续监听麦克风并在检测到声音时进行转录，我们可以将流的监听时间设置为无限长。通过使用一个音量门限来检测是否有声音，然后进行转录。

安装依赖

确保安装必要的库：

pip install torch torchaudio openai-whisper sounddevice numpy

代码实现

import torch import whisper import sounddevice as sd import numpy as np # 加载预训练的 Whisper 模型 model = whisper.load_model("base") # 设置模型为评估模式 model.eval() # 定义流式解码函数 def stream_decode(audio_buffer, sample_rate=16000): audio_tensor = torch.tensor(audio_buffer).float() result = model.transcribe(audio_tensor, fp16=False) return result['text'] # 音频缓冲区和其他参数 buffer_size = 16000 # 每个音频块的大小（1秒） audio_buffer = np.zeros(buffer_size * 10, dtype=np.float32) # 预留10秒缓冲区 buffer_offset = 0 silence_threshold = 0.01 # 声音门限 # 麦克风回调函数 def callback(indata, frames, time, status): global audio_buffer, buffer_offset if status: print(status, flush=True) # 计算当前音频块的音量 volume_norm = np.linalg.norm(indata) * 10 if volume_norm > silence_threshold: # 将新音频数据复制到缓冲区 audio_buffer[buffer_offset:buffer_offset+frames] = indata[:, 0] buffer_offset += frames # 当缓冲区达到或超过设定的大小时进行处理 if buffer_offset >= buffer_size: text = stream_decode(audio_buffer[:buffer_size]) print(f"Transcription: {text}", flush=True) # 移动缓冲区的数据 audio_buffer = np.roll(audio_buffer, -buffer_size) buffer_offset -= buffer_size else: # 如果检测到的音量低于门限，将缓冲区位置重置 buffer_offset = 0 # 启动麦克风流 def start_streaming(): stream = sd.InputStream(callback=callback, channels=1, samplerate=16000, blocksize=buffer_size) with stream: print("Listening...") while True: sd.sleep(1000) # 继续监听 # 开始流式解码 start_streaming()

代码说明

依赖加载：

torch 和 torchaudio 用于音频处理和模型推理。 whisper 是 OpenAI 的 Whisper 模型的库，用于加载和使用预训练模型。 sounddevice 用于从麦克风捕获实时音频。 numpy 用于音频数据处理。

流式解码函数 stream_decode：

接受音频缓冲区并使用 Whisper 模型进行解码。返回解码后的文本。

音频缓冲区和参数设置：

buffer_size 定义每个音频块的大小，这里设置为1秒（16000个样本）。 audio_buffer 是一个大小为10秒的预留缓冲区。 buffer_offset 用于跟踪当前缓冲区的位置。 silence_threshold 是音量门限，用于检测有无声音。

麦克风回调函数 callback：

从麦克风捕获音频数据并将其存储到缓冲区中。计算当前音频块的音量，如果音量超过门限，则将音频数据添加到缓冲区，并进行解码处理。解码后打印转录结果，并移动缓冲区的数据以准备处理下一个音频块。如果音量低于门限，将缓冲区位置重置。

启动麦克风流 start_streaming：

使用 sounddevice.InputStream 创建一个音频流，并在回调函数中处理音频数据。启动流并持续运行，通过 while True 循环保持监听状态。

这个示例代码展示了如何实现持续监听麦克风，并在检测到声音时进行实时转录。你可以根据实际需求进一步优化音量门限和缓冲区处理逻辑，以提高性能和准确性。

总结

### 文章总结
本文详细阐述了如何通过程序实现持续监听麦克风并在检测到声音时进行音频转录的功能。主要步骤和关键技术如下：
1. **安装依赖**：
- 使用`pip`安装必要的库，包括`torch`、`torchaudio`、`openai-whisper`、`sounddevice`和`numpy`，这些库分别用于音频处理、模型推理、音频捕获及数据处理。
2. **代码实现**：
- 加载预训练的Whisper模型，并将其设置为评估模式。
- 定义一个`stream_decode`函数，该函数负责将音频缓冲区中的数据使用Whisper模型进行转录，并返回解码后的文本。
- 设置音频缓冲区及参数，包括每个音频块大小、预留缓冲区大小、缓冲区当前位置及音量门限。
- 编写麦克风回调函数，该函数在接收到音频数据时计算其音量，若高于门限则进行转录处理，低于门限时重置缓冲区位置。同时包括音频数据的捕获、处理及缓冲区管理。
- 使用`sounddevice.InputStream`启动麦克风流，并持续监听。回调函数在接收到音频数据时被调用，进而实现实时音频转录。
3. **关键技术点**：
- **音量门限**：通过设定音量门限过滤掉无声部分，减少不必要的处理和转录，提升效率。
- **音频缓冲区**：设置一个足够大的缓冲区来存储音频数据，以实现连续的音频流处理。同时，通过移动缓冲区中的数据来连续地处理新的音频块。
- **实时流处理**：使用`sounddevice`捕获麦克风实时音频数据，并通过回调函数进行即时的音频处理和转录。
- **模型应用**：利用OpenAI的Whisper模型进行音频转文本，能够在声音被检测到后迅速给出文本结果。
### 总结展望
本文的示例代码展示了如何通过程序控制麦克风进行持续监听，并在检测到声音时实时转录为文本。这一功能可广泛应用于语音识别、会议记录、实时字幕等多种场景。未来，可以根据实际需求调整音量门限、优化缓冲区管理逻辑，并可能集成更先进的音频处理算法以提升整体性能和准确率。 whispercode音频处理openainumpy预训练实时音频模型推理数据处理音频转录代码展示实时转录语音识别广泛应用准确性准确率提升效率高性能预训练模型音频转文本

流量来路如何区分，自然流量和竞价流量的辨别