我之前的文章和视频中也介绍过好几款，或收费或开源的视频翻译工具，包括

今天再介绍另一款开源的视频字幕自动翻译项目—- VideoLingo。

VideoLingo 是一款开源的视频自动翻译项目，可以将视频进行字幕切割，翻译，对齐，以及配音。

VideoLingo 可以接受 YouTube 链接或者本地视频，可以对视频进行自动转写，并且生成单词级别的转录文件，然后利用 LLM 对原始文本进行翻译，还可以利用 TTS 来生成配音

个人尝试了一下生成 Jensen Huang 的采访，因为使用了 Anthropic 的 AI，所以翻译质量非常高，并且达到了宣称的 Netflix 字幕标准，只有单行的长度，并且中文翻译非常信达雅。

AJOB0r2lqP

VideoLingo 还采用了多种 TTS 引擎，包括

  • OpenAI
  • Azure TTS
  • [[GPT-SoVITS]]
  • [[Fish Audio]] TTS

可以自行配置 API KEY 来生成中文配音，并自动合成到视频中。

相关的技术栈

  • [[yt-dlp]] 实现 YouTube 视频下载
  • [[WhisperX]] 语音转写，进行单词级时间轴字幕识别
  • NLP 和 GPT 根据句意进行字幕分割
  • GPT 总结提取术语知识库，上下文连贯翻译
  • [[TTS]]
    • [[GPT-SoVITS]] 个性化配音，克隆声音并进行配音
  • [[Streamlit]]

安装

# 获取源代码
git clone git@github.com:Huanshere/VideoLingo.git
cd VideoLingo
pyenv virtualenv 3.10.9 videolingo
pyenv local videolingo
pip install -r requirements.txt
python install.py
# 一键启动
streamlit run st.py

配置说明

LLM 配置

LLM 配置中需要使用到 [[Anthropic]] 的 API，可以访问 https://gpt.einverne.info 获取 API KEY

转录和字幕设置

这里我选择了本地 WhisperX 方法。

配音设置

略过

  • [[Linly-Dubbing]]