【whisper】在python中调用whisper提取字幕或翻译字幕到文本

【whisper】在python中调用whisper提取字幕或翻译字幕到文本

    正在检查是否收录...

最近在做视频处理相关的业务。其中有需要将视频提取字幕的需求,在我们实现过程中分为两步:先将音频分离,然后就用到了whisper来进行语音识别或者翻译。本文将详细介绍一下whisper的基本使用以及在python中调用whisper的两种方式。

一、whisper简介

whisper 是一款用于语音识别的开源库,支持多种语言,其中包括中文。在本篇文章中,我们将介绍如何安装 whisper 以及如何使用它来识别中文字幕。

二、安装 whisper

首先,我们需要安装 whisper。根据操作系统,可以按照以下步骤进行安装:

对于 Windows 用户,可以从 whisper 的 GitHub 页面 (https://github.com/qingzhao/whisper) 下载适用的 Python 版本的whisper 安装包,然后运行安装程序。

对于 macOS 用户,可以使用 Homebrew (https://brew.sh/) 进行安装。在终端中运行以下命令:brew install python@3.10 whisper

对于 Linux 用户,可以使用包管理器 (如 apt 或 yum) 进行安装。例如,对于使用 Python 3.10 的 Ubuntu 用户,在终端中运行以下命令:sudo apt install python3.10 whisper

当然,我们还需要配置环境,这里我们可以参考这篇文章,这篇文章是使用控制台的方式来进行字幕翻译,比较适合非开发人员。

三、使用Whisper提取视频字幕并生成文件

3.1 安装Whisper库

首先,我们需要安装Whisper库。可以使用以下命令在命令行中安装:

pip install whisper 

3.2 导入所需的库和模块

import whisper import arrow import time from datetime import datetime, timedelta import subprocess import re import datetime 

参考 python生成requirements.txt的两种方法
生成失败参考 这里
对应版本生成的requirements.txt信息

arrow==1.3.0 asposestorage==1.0.2 numpy==1.25.0 openai_whisper==20230918 

3.3 提取字幕并生成文件

下面是一个函数,用于从目标视频中提取字幕并生成到指定文件:

1.在python中直接调库的方式

def extract_subtitles(video_file, output_file, actual_start_time=None): # 加载whisper模型 model = whisper.load_model("medium") # 根据需要选择合适的模型 subtitles = [] # 提取字幕 result = model.transcribe(video_file) start_time = arrow.get(actual_start_time, 'HH:mm:ss.SSS') if actual_start_time is not None else arrow.get(0) for segment in result["segments"]: # 计算开始时间和结束时间 start = format_time(start_time.shift(seconds=segment["start"])) end = format_time(start_time.shift(seconds=segment["end"])) # 构建字幕文本 subtitle_text = f"【{ start}

whispercodepython语音识别idegithubgitmediumtpulinuxeltnumpy字幕文本操作系统音频分离windowsragopenai开发人员命令行视频字幕mac字幕翻译macos视频处理url
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-1787.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

Stable Diffusion 无损放大图像和缩小图像

上一篇

Stable Diffusion Web-UI 安装指南

下一篇
  • 复制图片
按住ctrl可打开默认菜单