Auto-Synced-Translated-Dubs

上传视频和字幕,自动生成多语言配音,音画同步无需手动。

Auto-Synced-Translated-Dubs 是一个自动视频配音翻译工具,它基于字幕文件提取文本,通过 AI 翻译成目标语言,再利用 TTS 语音合成生成新的配音音轨,并根据原字幕时间轴自动对齐语音,实现音画同步。项目解决了视频本地化中人工配音成本高、周期长的问题,提供全自动化的流水线。核心能力包括:字幕解析、文本翻译(支持多种翻译引擎)、语音合成(集成多家 TTS 服务)、音轨混流与时间同步。用户只需提供视频和字幕,即可输出带翻译配音的新视频,适合内容创作者、教育机构、影视爱好者等快速制作多语言版本。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1745
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队ThioJoe
所属国家
官网地址
定价模式free
价格说明开源项目,AGPL-3.0许可,可自行部署使用,无付费版本。
访问状态
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型ai,dubbing,subtitles,text-to-speech,translation,tts
GitHub 星标★ 1745
30天Star增速
HF 下载量
上线时间2022-12-08 00:00:00
最近更新2026-09-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 7 步

环境要求

  • Python 3.9(作者开发版本,更低版本可能也能运行)
  • 已安装 pip,可执行 pip install -r requirements.txt
  • README 中 External Requirements 列出的外部程序(使用 TrackAdder.py 时需 ffmpeg)
  • Google Cloud、Microsoft Azure 或 DeepL 其中至少一家的 API 访问凭证

安装与启动步骤

  1. 1获取项目代码

    把仓库下载或克隆到本地,后续所有配置文件都在该项目目录内修改。

    git clone https://github.com/ThioJoe/Auto-Synced-Translated-Dubs.git
  2. 2安装 Python 依赖

    在项目根目录执行,安装 requirements.txt 中列出的全部 Python 依赖。

    pip install -r requirements.txt
  3. 3安装外部程序

    按 README 的 External Requirements 安装所需外部程序;用 TrackAdder.py 合轨时还需要 ffmpeg。

  4. 4配置云服务密钥

    在 cloud_service_settings.ini 中填入 Google Cloud、Azure 或 DeepL 的 API 凭证与相关变量。

  5. 5配置全局参数

    编辑 config.ini,设置采样率、格式、是否跳过翻译、是否双遍合成等,默认值多数情况可用。

  6. 6配置语言与素材

    编辑 batch.ini:在 [SETTINGS] 填原视频和原字幕路径,用 enabled_languages 指定要处理的语言编号。

  7. 7运行主程序

    配置完成后执行脚本并等待其跑完,翻译字幕与配音音轨会输出到 output 文件夹。

    python main.py

关键配置

配置项必填说明示例
cloud_service_settings.ini是存放 Google Cloud / Azure / DeepL 的 API 访问凭证等云服务变量xxxxxxxxxxxxxxxxxxxxxxxx
config.ini是翻译、合成、格式与采样率等全局设置,含跳过翻译、双遍合成开关使用默认配置
enabled_languages是batch.ini 中列出本次要处理的语言编号,对应 [LANGUAGE-#] 段1,2,3
batch.ini [SETTINGS] 原视频路径是原始视频文件路径,用于获取正确的音频长度/your/path/video.mp4
batch.ini [SETTINGS] 原字幕路径是原始字幕文件路径,作为翻译和计时的时间轴来源/your/path/subtitle.srt

如何确认成功

运行结束后检查 output 文件夹,能看到新生成的翻译版 SRT 字幕文件和配音音轨即成功。

常见问题

Q:翻译和语音合成分别能用哪些服务?

A:翻译可用 Google Cloud 或 DeepL;TTS 可用 Google Cloud 或 Microsoft Azure。Azure 音质更好(最高 48KHz,Google 为 24KHz),Google 翻译更快更便宜且支持语言更多。

Q:译文语音怎么和原视频对齐?

A:程序根据字幕行的时间轴计算每段语音应有的时长,再拉伸或压缩音频。默认开启双遍合成以提升音质;若用 Azure TTS 可直接指定时长,无需这一步。

Q:怎么把配音轨道合进 mp4?

A:用可选的 TrackAdder.py 脚本,需要先安装 ffmpeg,并打开脚本修改顶部 User Settings 区域的值。

Q:一次能处理多种语言吗?

A:可以。在 batch.ini 的 enabled_languages 中列出语言编号,程序会按顺序批量处理这些语言,未列出的语言不会被处理。

Q:生成的成品会放在哪里?

A:翻译后的字幕文件和配音音轨都会放在项目下的 output 文件夹中,TitleTranslator.py 生成的标题描述文本也放在该文件夹。

注意事项

  • 使用前需自行申请并配置 Google Cloud、Azure 或 DeepL 的 API 凭证
  • 务必核对各云服务文档中支持的语言和语音,避免选了不支持的音色
  • TrackAdder 生成的多音轨 MP4 需要 YouTube 频道权限支持,多数频道需联系创作者支持申请
  • TitleTranslator.py 与 TrackAdder.py 均为可选脚本,不影响 main.py 主流程

核心亮点

  • 全自动流水线,从字幕到配音一步到位,无需人工干预
  • 支持多种翻译和TTS服务,可灵活替换,适配不同需求
  • 时间轴同步机制成熟,确保配音与画面精准对齐

不足之处

  • 依赖外部AI服务,需自备API密钥,可能产生费用
  • 对字幕质量要求高,缺失或错误字幕会影响最终效果

适用场景

  • 视频内容创作者快速制作多语言版本,扩大受众
  • 教育机构将课程视频本地化,方便非母语学生
  • 影视爱好者自制字幕配音,体验多语言观影

替代项目

VideoLingo、pyvideotrans、Dubify

项目介绍

Auto-Synced-Translated-Dubs 是音频音乐领域的开源项目,由 ThioJoe 开发,2022 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,745)位列前 30%,在音频音乐分类的 738 个项目里位列前 12%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-16。AGPL-3.0许可,可自行部署使用,无付费版本。

它主要面向的使用场景是:视频内容创作者快速制作多语言版本,扩大受众。同类可对比的替代方案包括 VideoLingo、pyvideotrans、Dubify。

上一篇:RHVoice

下一篇:read-aloud

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 246 2026-08-09