项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2815
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python >= 3.10
- Torch >= 2.0
- 需安装 torchaudio、librosa、vocos、encodec、safetensors、regex
- 可选:已安装 Docker(使用 Docker 方式时)
安装与启动步骤
-
1安装依赖
用 pip 一次性升级并安装推理所需全部 Python 依赖,建议在虚拟环境中执行以免污染全局环境。
pip install --upgrade torch torchaudio librosa vocos encodec safetensors regex -
2加载模型
无需克隆仓库,直接用 torch.hub 从 GitHub 拉取 MARS5 英文 AR 与 NAR 模型,首次运行会自动下载权重。
import torch, librosa mars5, config_class = torch.hub.load('Camb-ai/mars5-tts', 'mars5_english', trust_repo=True) -
3拉取官方镜像
想用容器方式,可直接从 README 给出的 DockerHub 页面拉取镜像,作为基础镜像使用。
docker pull cambai/mars5ttsimage -
4自建 Docker 镜像
克隆仓库后进入目录,基于仓库 docker 目录中的 Dockerfile 构建自定义镜像。
git clone https://github.com/Camb-ai/MARS5-TTS.git cd MARS5-TTS docker build -t mars5ttsimage ./docker
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
trust_repo | 否 | torch.hub.load 参数,设为 True 表示信任该仓库代码以完成加载 | True |
如何确认成功
执行 torch.hub.load 后成功返回 mars5 与 config_class 两个对象、无报错,即表示模型加载成功。
常见问题
Q:必须把仓库 clone 到本地吗?
A:不需要。README 明确使用 torch.hub.load 加载模型,无需克隆仓库即可推理;只有自建 Docker 镜像时才需要 clone。
Q:声音克隆需要多长的参考音频?
A:README 说明仅需约 5 秒音频配合一小段文本,即可生成体育解说、动画等韵律复杂的语音。
Q:Docker 镜像能直接生成语音吗?
A:不能。README 指出该镜像应作为基础镜像,需在其之上自行添加推理脚本;直接产出结果的镜像后续才会发布。
Q:模型支持哪些语言?
A:README 描述的是 MARS5 English 英文语音模型,通过 torch.hub 加载的是 mars5_english。
注意事项
- 最新 AR checkpoint 于 2024 年 7 月 5 日发布,输出稳定性更高。
- 首次通过 torch.hub 加载会联网下载模型权重,请保证网络通畅。
- Docker 方式需自行编写推理脚本,镜像本身不直接产生音频输出。
核心亮点
- 极少量样本即可克隆声音,几秒音频即可生成相似音色
- 强调韵律和情感表现,合成语音自然度高,优于多数开源TTS
- 提供简单API和Gradio界面,易于上手和集成
不足之处
- 模型较大,推理资源需求高,不适合低端设备
- 文档和社区支持相对有限,中文资料较少
- 跨语言克隆效果对某些语言或口音可能不稳定
适用场景
- 内容创作者快速生成配音或旁白
- 有声书或播客制作,需要特定音色
- 虚拟助手或游戏角色语音定制
替代项目
Coqui TTS、XTTS v2、Bark
同类项目推荐
ProDiff
开源
极速扩散语音合成,快过实时,质量不减
PyTorch Implementation of ProDiff (ACM-MM'22) with a Extremely-Fast diffusion speech···
ukrainian-tts
开源
用 ESPnet 快速训练和合成乌克兰语语音,让应用开口说乌语。
Ukrainian TTS (text-to-speech) using ESPNET
LEMAS-TTS
开源
一个模型克隆10种语言的说话人声音,几秒音频即可合成新语音。
LEMAS‑TTS is a multilingual zero‑shot text‑to‑speech system, supporting 10 langu···
stable-audio-tools
开源
用文本或音频条件,训练并生成可控音乐音效
Generative models for conditional audio generation
EDDI
开源
玩《精英危险》时,用语音播报和实时数据,让你不切屏也能掌握全局。
Companion application for Elite Dangerous
heartlib
开源
输入文字,本地生成完整音乐,开源可商用
HeartMuLa Official Repo: The Most Powerful Open-Source Music Generation Model of 202···
Los-Angeles-Music-Composer
开源
用窗口注意力生成多乐器音乐,长序列也能高效创作
Local windowed attention multi-instrumental music transformer for supervised music g···
ismir2019tutorial
开源
跟着教程用GAN生成音乐,从理论到案例一站学会
Website for tutorial "Generating Music with GANs: An Overview and Case Studies"
coqui_tts_korea
开源
用 Coqui 快速搭建韩语语音合成,开箱即用
Korean TTS using coqui TTS (glowtts and multiband melgan) - 한국어 TTS
