
SoniTranslate
上传视频,自动生成多语言配音,轻松出海
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1426
使用教程
环境要求
- Linux 系统(README 注明安装仅在 Linux 下测试通过)
- 已安装 Anaconda / Miniconda
- Python 3.10(conda 环境 sonitr)
- NVIDIA GPU + CUDA 11.8 运行环境(PyTorch 使用 pytorch-cuda=11.8)
- 已安装并可用的 FFmpeg
安装与启动步骤
-
1创建 conda 环境
新建名为 sonitr 的 Python 3.10 环境并激活,随后升级 pip 与 setuptools 到 README 指定版本。
conda create -n sonitr python=3.10 -y conda activate sonitr python -m pip install pip==23.1.2 Setuptools==80.6.0 -
2安装 PyTorch
通过 conda 的 pytorch 与 nvidia 频道安装 README 指定版本的 PyTorch 2.5.1 及配套 CUDA 11.8。
conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=11.8 -c pytorch -c nvidia -
3克隆仓库
从 GitHub 拉取 SoniTranslate 源码并进入项目目录,后续命令都在该目录执行。
git clone https://github.com/r3gm/SoniTranslate.git cd SoniTranslate -
4安装依赖包
依次安装基础依赖、额外依赖以及 onnxruntime-gpu,安装耗时较长请耐心等待。
pip install -r requirements_base.txt -v pip install -r requirements_extra.txt -v pip install onnxruntime-gpu -
5安装 FFmpeg
FFmpeg 用于处理音视频,README 推荐用 conda 安装;装完用 ffmpeg -h 确认已加入 PATH。
conda install -y ffmpeg ffmpeg -h -
6可选安装 TTS
按需安装 Piper TTS 或 Coqui XTTS,用于本地语音合成与声音克隆;不需要可跳过。
pip install -q piper-tts==1.2.0 pip install -q -r requirements_xtts.txt pip install -q TTS==0.21.1 --no-deps -
7设置 HF Token
README 要求在 Linux 下把 Hugging Face token 设为环境变量,把示例值替换成你自己的 token。
export YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN" -
8启动应用
在项目目录运行 app_rvc.py,终端出现 local URL 后即可在浏览器中打开使用。
conda activate sonitr python app_rvc.py
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
YOUR_HF_TOKEN | 是 | Hugging Face 访问令牌,README 要求在运行前设置为环境变量 | hf_xxxxxxxxxxxxxxxxxxxxxxxxx |
如何确认成功
终端打印出 local URL http://127.0.0.1:7860,用浏览器打开该地址能看到 SoniTranslate 的 Gradio 界面即为成功。
常见问题
Q:ffmpeg 安装后提示找不到命令怎么办?
A:README 建议用 conda install -y ffmpeg 安装,并在终端执行 ffmpeg -h 检查是否已加入 PATH;报错则需将 ffmpeg 加入环境变量 PATH。
Q:Windows 或 macOS 可以按这个流程装吗?
A:README 明确说明安装步骤仅在 Linux 下测试,未提供 Windows/macOS 的安装说明,其他系统可能遇到额外问题。
Q:可以不用本地安装吗?
A:可以,README 提供了 Colab Notebook 和 Hugging Face Spaces 在线 DEMO 两种免安装运行方式。
Q:Piper TTS 和 Coqui XTTS 必须装吗?
A:不是,README 把它们列为可选安装项(Optional install),只在需要对应语音合成能力时再安装。
Q:浏览器打不开 7860 端口?
A:确认启动日志中的 local URL 是否为 http://127.0.0.1:7860,并检查本地防火墙或端口是否被其他程序占用。
注意事项
- README 中的 Hugging Face token 为占位符,务必替换成自己的真实 token 再执行。
- 安装说明基于 Linux 环境测试,其他操作系统不保证可用。
- PyTorch 安装命令带 pytorch-cuda=11.8,需要匹配的 NVIDIA 驱动和 CUDA 环境。
- TTS 相关包为可选项,不安装也可启动主程序。
核心亮点
- 全自动流程:从语音识别到配音生成一条龙,无需人工干预
- 支持说话人分离,保留原视频不同说话人的音色特征
- 提供 Web 界面,降低使用门槛,非技术用户也能上手
不足之处
- 依赖多个外部 AI 模型,安装配置复杂,对硬件有一定要求
- 翻译质量受限于底层模型,专业术语或口音可能出错
- 文档/社区待观察
适用场景
- 视频创作者将内容翻译成多语言,扩大海外受众
- 教育机构将课程视频配音成学生母语,提升学习效果
- 企业将产品演示视频本地化,进入国际市场
替代项目
VideoLingo、pyvideotrans、WhisperDubbing
上一篇:Speech-AI-Forge
下一篇:soprano
同类项目推荐
izabela-desktop
开源
全局打字即语音,游戏聊天不开口
A proof of concept text-to-speech application allowing global typing. Can be used ov···
WaveGAN-pytorch
开源
用 PyTorch 从零训练 GAN 直接生成原始音频波形
PyTorch implementation of " Synthesizing Audio with Generative Adversarial Networks"
ComfyUI-FL-YuE2
开源
在 ComfyUI 里生成音乐并手动改音符,边听边调
YuE2 music generation and an editable piano roll for ComfyUI
nonverspeech38k
开源
让AI学会笑、叹、哼,生成自然非语言人声
The official repository for the paper “NonVerbalSpeech-38K: A Scalable Pipeline for···
Cross-Speaker-Emotion-Transfer
开源
让任意声音说出带指定情感的语音,跨说话人情感迁移。
PyTorch Implementation of ByteDance's Cross-speaker Emotion Transfer Based on Speake···
rapping-neural-network
开源
用AI生成Kanye风格说唱歌词,输入开头即出完整段落
Rap song writing recurrent neural network trained on Kanye West's entire discography
tts.astromech
开源
让 Home Assistant 用 R2-D2 的哔哔声说话,给智能家居加点星战趣味。
Text to Astromech integration for Home Assistant (R2D2 Beep Boop Sounds)
Multi-Model-RVC-Inference
开源
一键加载多个 RVC 模型,从 Hugging Face 直接推理语音转换。
RVC Inference with multiple model and huggingface support
UnitSpeech
开源
无需转录文本,用少量语音样本即可克隆你的声音
An official implementation of "UnitSpeech: Speaker-adaptive Speech Synthesis with Un···