merlin

用深度学习快速训练自定义语音合成模型,从文本到语音一键生成。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 431 🐛 待处理 207 👀 关注 99
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1321
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,需自行部署使用。

项目预览

merlin 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队CSTR-Edinburgh
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型deep-learning,keras,merlin,python,speech-synthesis,tensorflow,text-to-speech,theano,voice-conversion
GitHub 星标★ 1321
上线时间2016-08-10 00:00:00
代码更新2020-03-03
仓库体积6.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Merlin 是一个基于深度学习的开源语音合成工具包,专注于文本到语音(TTS)和语音转换任务。它解决了传统语音合成系统依赖复杂信号处理、难以扩展的问题,提供了从声学特征提取到声码器重建的完整训练流程。核心能力包括:支持多种神经网络架构(如前馈神经网络、循环神经网络)、与 Keras 和 Theano 后端集成、提供特征提取和模型训练脚本、支持多说话人建模。用户可以通过配置文件和命令行接口快速训练自定义语音合成模型,适用于研究实验和原型开发。项目代码结构清晰,文档覆盖安装、数据准备和训练步骤,适合有一定深度学习基础的开发者使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1321

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • Python 2.7–3.6(README 明确声明兼容范围)
  • Theano 数值计算库(Merlin 核心依赖)
  • numpy、scipy、matplotlib、bandmat
  • 可选:tensorflow(仅在用 tensorflow 模型时需要)
  • 可选:sklearn、keras、h5py(仅在用 keras 模型时需要)
  • 外部组件:前端文本处理器(如 Festival)与声码器(如 STRAIGHT 或 WORLD)

安装与启动步骤

  1. 1准备 Python 环境

    确认 Python 版本落在 2.7–3.6 区间,并准备好可执行 shell 脚本的编译环境,供后续编译内置工具使用。

  2. 2编译内置工具

    进入 merlin 项目根目录后执行,编译 Merlin 自带的基础工具;脚本依赖 bash 与系统编译工具链。

    bash tools/compile_tools.sh
  3. 3安装 Python 依赖

    仍在项目根目录执行,按 requirements.txt 安装 numpy、scipy、matplotlib、bandmat、theano 等必需依赖。

    pip install -r requirements.txt
  4. 4安装可选依赖

    需要使用 TensorFlow 或 Keras 模型时,另行安装 tensorflow、sklearn、keras、h5py;不用则跳过。

  5. 5准备外部组件

    Merlin 本身只做声学建模,必须额外准备前端文本处理器(如 Festival)和声码器(如 STRAIGHT 或 WORLD)。

如何确认成功

README 未给出专门的验证命令;compile_tools.sh 与 pip 安装均无报错、Theano 可正常导入即视为环境就绪。

常见问题

Q:支持 Python 3.7 及以上版本吗?

A:README 明确写明兼容 Python 2.7–3.6,更高版本未声明支持,建议严格控制解释器版本。

Q:必须安装 TensorFlow 和 Keras 吗?

A:不必。两者属于可选依赖,只有使用 tensorflow 模型或 keras 模型时才需要安装。

Q:只安装 Merlin 就能直接合成语音吗?

A:不能。Merlin 需搭配前端文本处理器(如 Festival)和声码器(如 STRAIGHT 或 WORLD)一起使用。

Q:可以用于商业项目吗?

A:可以。Merlin 采用 Apache License 2.0,允许不受限制地商业和非商业使用。

Q:有现成的训练流程参考吗?

A:有。项目提供 Kaldi 风格的 recipes,展示如何构建当前最优的系统。

注意事项

  • 提供的 README 节选在安装章节被截断,完整安装与数据准备说明见官方文档 cstr-edinburgh.github.io/merlin/
  • 项目依赖的 Python 2.7–3.6 与 Theano 已较老旧,建议用 conda 或虚拟环境隔离,避免污染系统环境
  • Merlin 仅负责声学建模部分,数据准备需自行准备文本前端与声码器输出
  • 本教程只包含 README 中实际出现的命令,未出现的安装步骤未作推测

核心亮点

  • 提供完整的 TTS 训练流水线,从数据预处理到声码器合成,开箱即用
  • 支持多种神经网络架构和 Keras/Theano 后端,灵活适配不同实验需求
  • 社区活跃,持续更新,文档详细,适合学术研究和原型验证

不足之处

  • 依赖较老的深度学习框架(Theano),与现代 PyTorch/TF2 生态兼容性差
  • 合成音质相比现代端到端模型(如 Tacotron)有差距,需额外调参

适用场景

  • 学术研究:对比不同声学模型在语音合成上的效果
  • 语音克隆:基于少量数据训练特定说话人的合成模型
  • 教育演示:教学深度学习在语音领域的应用

替代项目

Tacotron、FastSpeech、Mozilla TTS

上一篇:Matcha-TTS

下一篇:WavTokenizer

同类项目推荐

mustango 开源

用自然语言精准控制音乐生成,让每句描述都变成旋律。

Mustango: Toward Controllable Text-to-Music Generation

★ 396 2026-08-09
ViSAudio 开源

给视频自动配上带方向感的双耳空间音效

ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation

★ 118 2026-10-26
voicenet 开源

用 TensorFlow 快速搭建语音合成模型,实现文本转语音。

Speech synthesis platform based on tensorflow and sonnet

★ 60 2026-08-09
emospeech 开源

从语音中识别情绪,让机器听懂你的心情

★ 128 2026-08-09
tortoise.cpp 开源

在本地 CPU 上快速跑通 tortoise-tts,无需 GPU 也能语音合成。

A ggml (C++) re-implementation of tortoise-tts

★ 191 2026-08-09
rapping-neural-network 开源

用AI生成Kanye风格说唱歌词,输入开头即出完整段落

Rap song writing recurrent neural network trained on Kanye West's entire discography

★ 1067 2026-08-09
draft-to-take 开源

本地一键将语音草稿打磨成专业音频成品

Draft to Take beta: local-first AI audio production studio powered by IndexTTS2, Doc···

★ 78 2026-08-09
RapidTTS 开源

本地快速语音合成,多模型一键切换,低延迟高音质。

轻量级文本转语音工具,面向本地快速推理。A text-to-speech framework for fast and high···

★ 56 2026-08-09
Cross-Speaker-Emotion-Transfer 开源

让任意声音说出带指定情感的语音,跨说话人情感迁移。

PyTorch Implementation of ByteDance's Cross-speaker Emotion Transfer Based on Speake···

★ 193 2026-08-09