Multilingual_Text_to_Speech
一个模型搞定多语言混合语音合成，还能克隆声音
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 843
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 3.6+
- TensorFlow 1.x
- 多语言语音数据集
安装与启动步骤
-
1克隆装依赖
多语言 TTS 论文代码，元学习路线。
git clone https://github.com/Tomiinek/Multilingual_Text_to_Speech.git cd Multilingual_Text_to_Speech pip3 install -r requirements.txt -
2生成频谱
先把音频转成 css 频谱，训练读它。
python3 prepare_css_spectrograms.py -
3训练
先跑语言切换实验，再跑单语基线对比。
PYTHONIOENCODING=utf-8 python3 train.py --hyper_parameters generated_switching -
4合成
用训练好的 checkpoint 生成语音。
echo "01|Dies ist ein Beispieltext.|00-fr|de" | python3 synthesize.py --checkpoint checkpoints/CHECKPOINT-1 --save_spec
如何确认成功
合成出的音频能听出目标语言，跨语种样本音色一致。
注意事项
- 代码基于 TF1，新环境建议用容器。
- 输入格式是「说话人|文本|语言id|目标语言」的竖线分隔串。
- 训练耗时以天计，先降参数量验证流程。
核心亮点
- 支持语码切换，可在同一句话中混合多种语言合成，实用性强
- 参数共享机制显著降低多语言模型的训练资源需求
- 提供声音克隆能力，用少量样本即可模仿目标说话人
不足之处
- 早期项目，文档和社区支持可能不够完善
- 依赖 Tacotron 2，合成速度较慢，实时性不足
适用场景
- 多语言语音助手或翻译设备中的自然混合语音输出
- 个性化语音合成，如为有声书或游戏角色生成定制声音
- 跨语言语音研究，探索参数共享和语码切换的模型表现
替代项目
Coqui TTS、Mozilla TTS、ESPnet-TTS
下一篇：lobe-tts
同类项目推荐
remiqora
开源
本地跑 AI 作曲+分轨+DAW，一条龙出成品
Free, open-source local AI music studio: ACE-Step 1.5 and YuE2-3B text-to-music, ste···
ncnn-android-piper
开源
手机本地跑神经语音合成，离线秒出中文英文语音
ncnn android piper the fast and local neural text-to-speech engine
MOSS-TTSD
开源
从短音频克隆声音，生成多说话人 expressive 对话
A multilingual model for long-form, multi-speaker dialogue synthesis with flexible s···
xtts-api-server
开源
一键部署XTTSv2，快速实现多语言语音合成与克隆
A simple FastAPI Server to run XTTSv2
Turkish-Text-to-Speech
开源
用 Fastpitch + HiFi-GAN 为土耳其语打造自然语音合成
Speech synthesis (TTS) in low-resource languages by training from scratch with Fastp···
Advanced-RVC-Inference
开源
一键下载并加速运行 RVC 语音转换模型，省时省力
Advanced RVC Inference for quicker and effortless model downloads
voice_indonesian
开源
离线印尼语文本转语音，代码示例即拿即用
Contoh kode program teks ke suara offline, text to speech offline, biasanya saya gun···
emospeech
开源
从语音中识别情绪，让机器听懂你的心情
UniCATS-CTX-txt2vec
开源
用扩散模型生成自然语音，让 TTS 更有表现力
[AAAI 2024] CTX-txt2vec, the acoustic model in UniCATS