利用Python与Whisper革新视频翻译：打造高精度字幕翻译流程。

实现流程需要使用以下的工具。

1.python,需要自行安装，

2.python的音视频处理库moviepy安装

pip install moviepy

3.Whisper语音识别，在我之前的文章中有：Whisper语音识别安装教程。

4.文字翻译，我这里使用百度翻译。

步骤一，提取视频中的音频。

首先，需要从视频中提取音频。使用python的moviepy库。

from moviepy.editor import AudioFileClip video = "video.mp4"#假如有一个视频文件 audio = "audio.mp3"#分离出来的音频文件 # 提取音频 clip = AudioFileClip(video) clip.write_audiofile(audio) clip.close()

需要注意，分离出来的音频可能会存在背景音，没有背景音的可以直接识别音频。

这里可以使用UVR5人声伴奏分离，分离出人声。

UVR5百度网盘下载链接：链接：https://pan.baidu.com/s/1jBcTr3MTyZt12QIU4JryKg?pwd=znuu 提取码：znuu

UVR5的b站使用教程：最强伴奏人声提取工具 - 开源免费，一键安装，直接使用！| Ultimate Vocal Remover | UVR5_哔哩哔哩_bilibili

我这里使用GPT-SoVITS的api来实现人声伴奏分离

import requests response = requests.post("http://localhost:9873/run/uvr_convert", json={   "data": [     "HP2_all_vocals",     "E:/视频翻译添加字幕/mp3",#输入待处理音频文件夹路径     "E:/视频翻译添加字幕/mp3",#定输出主人声文件夹     {"name":"zip.zip","data":"data:@file/octet-stream;base64,UEsFBgAAAAAAAAAAAAAAAAAAAAAAAA=="},#也可批量输入音频文件, 二选一, 优先读文件夹     "E:/视频翻译添加字幕/mp3",#指定输出非主人声文件夹     10,#人声提取激进程度     "mp3",#导出文件格式 ]}).json() data = response["data"] print(data)#输出返回的内容

GPT-SoVITS是花儿不哭大佬研发的低成本AI音色克隆软件。目前只有TTS（文字转语音）功能。

这是一个声音克隆，文字转语音的软件。

GPT-SoVITS的中文教程文档：GPT-SoVITS指南 · 语雀

只是刚好有人声伴奏分离这个api就拿来用一下了。

步骤二，处理好音频后就是直接使用Whisper来实现语音转文字的效果。

可以直接到音频目录文件中的cmd窗口中执行以下命令。

whisper  audio.mp3 --model medium

medium是模型，需要根据电脑的显存来进行选择。

python代码。

为了让python可以执行命令行中的命令，可以使用subprocess库

pip install subprocess

import subprocess # 要执行的命令 command = "whisper audio.mp3 --model medium"  # 这里使用的是 Windows 的 dir 命令，可以替换为其他命令 # 打开命令行并执行命令 process = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) # 获取命令执行结果 output, error = process.communicate() # 打印结果 print("Output:") print(output.decode())  # 将字节转换为字符串并打印输出 if error:     print("Error:")     print(error.decode())  # 将字节转换为字符串并打印错误信息

在执行这个代码后，会得到下面的几个文件。

其中的.srt就是视频字幕文件，它的格式是这样的，有编号，有时间。

1

00:00:00,000 --> 00:00:04,000

This is unlimited money, and the next person to buy a Feastables bar at my local Walmart,

2

00:00:04,000 --> 00:00:05,800

we're going to kidnap and give this money to.

3

00:00:05,800 --> 00:00:07,200

Her hand is on the Feastables.

4

00:00:07,200 --> 00:00:08,200

It's literally touching my back.

5

00:00:08,200 --> 00:00:09,200

She's walking away.

步骤三，翻译字幕文件，这里使用百度翻译。

from langdetect import detect   # 使用 langdetect 库来检测文本语言 import requests import json def tokens():     url = "https://aip.baidubce.com/oauth/2.0/token?client_id=请填写自己的API Key&client_secret=请填写自己的Secret Key&grant_type=client_credentials"     payload = json.dumps("")     headers = {         'Content-Type': 'application/json',         'Accept': 'application/json'     }         response = requests.request("POST", url, headers=headers, data=payload)     json_data = json.loads(response.text)     return json_data['access_token'] token = tokens() url = 'https://aip.baidubce.com/rpc/2.0/mt/texttrans/v1?access_token=' + token # 读取文本文件的每一行并保存到数组中 lines = [] with open("audio.srt", "r", encoding="utf-8") as file:     for line in file:         lines.append(line.strip())  # 打开字幕文件，添加每一行到数组中，同时去除行末尾的换行符 # 循环数组，判断文本是否有某种语言。 for index, line in enumerate(lines):     # 检测文本语言     try:         lang = detect(line)#检测语言         # For list of language codes, please refer to `https://ai.baidu.com/ai-doc/MT/4kqryjku9#语种列表`         #需要翻译成什么语言。         from_lang = "en" #原语言，en是英文         to_lang = 'zh' # 目标语言，zh是中文         term_ids = '' # 术语库id，多个逗号隔开         # Build request         headers = {'Content-Type': 'application/json'}         payload = {'q': line, 'from': from_lang, 'to': to_lang, 'termIds' : term_ids}         # Send request         r = requests.post(url, params=payload, headers=headers)         result = r.json()         #修改语言         lines[index] =result['result']['trans_result'][0]['dst']     except:         lang = "unknown" # 重新保存字幕文件 with open("audios.srt", "w", encoding="utf-8") as file:     for line in lines:         file.write(line + '\n')

上面只是实现了翻译的流程，并没有处理其他的问题。

翻译的结果：

1

00:00:00,000 --> 00:00:04,000

这是无限的钱，下一个在我当地的沃尔玛买盛宴酒吧的人，

2

00:00:04,000 --> 00:00:05,800

我们要绑架并把这些钱交给。

3

00:00:05,800 --> 00:00:07,200

她的手放在宴会桌上。

4

00:00:07,200 --> 00:00:08,200

它真的在摸我的背。

5

00:00:08,200 --> 00:00:09,200

她要走了。

最后一步是给视频添加字幕。

from moviepy.editor import concatenate_audioclips,concatenate_videoclips import ffmpeg #给视频添加字幕 try:     (         ffmpeg         .input('video.mp4')         .output('videos.mp4', vf='subtitles=audios.srt')         .run()     ) except ffmpeg.Error as e:     print('ffmpeg error:', e)

以上就是实现了给视频翻译并添加字幕的流程。

总结：

1.对于个人讲解的教程类视频翻译非常的完美，准确度非常高。

2.对于唱歌类的视频翻译效果很差。

当然了，还可以实现更多的功能。

比如添加GPT-SoVITS的声音克隆，文本转语音功能，让原本说英文的视频，让他直接说中文也是可以实现的，就是感觉会很麻烦。

我的个人博客地址:https://luguode.top/archives/2024_5_6/66384ce92215b.html