NATSpeech

并行生成语音,速度翻倍,效果不输自回归

NATSpeech 是一个非自回归语音合成(NAR-TTS)框架,基于 PyTorch 实现,集成了 PortaSpeech(NeurIPS 2021)和 DiffSpeech(AAAI 2022)两个官方模型。它解决了传统自回归 TTS 推理速度慢、稳定性差的问题,通过并行生成梅尔频谱,大幅提升合成效率。核心能力包括:支持多种非自回归声学模型训练与推理、提供完整的预处理流程、支持多说话人训练、集成扩散模型和变分推理等先进技术。项目代码结构清晰,便于研究者复现论文结果和开发新模型,适合学术研究和工业快速原型验证。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1004
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队NATSpeech
所属国家
官网地址
定价模式free
价格说明开源框架,MIT许可证,完全免费,无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffsinger,diffspeech,huggingface,portaspeech,pytorch,speech,speech-synthesis,tts
GitHub 星标★ 1004
30天Star增速
HF 下载量
上线时间2022-02-13 00:00:00
最近更新2026-08-26 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:高级 约 40 分钟 部署方式:本地安装 6 步

环境要求

  • Linux/Ubuntu 18.04(README 实测环境)
  • Python 3.6+,建议用 Anaconda
  • PyTorch >= 1.9.0
  • 需要 sudo 权限安装 sox 和 MFA 强制对齐工具

安装与启动步骤

  1. 1创建并激活虚拟环境

    用 venv 建隔离环境,避免污染系统 Python 包;全程保持激活状态。

    python -m venv venv
    source venv/bin/activate
  2. 2设置 PYTHONPATH

    README 要求把项目根目录加入 PYTHONPATH,否则模块导入会失败,需在项目根目录执行。

    export PYTHONPATH=.
  3. 3安装基础依赖

    先升级 pip,再装指定版本 Cython 与 numpy==1.19.1,numpy 版本不可随意改。

    pip install -U pip
    pip install Cython numpy==1.19.1
  4. 4安装 PyTorch

    安装 torch 1.9.0,README 建议至少 1.9.0;有 GPU 需自行按 CUDA 版本调整。

    pip install torch==1.9.0
  5. 5安装项目依赖

    在项目根目录通过 requirements.txt 安装其余 Python 依赖。

    pip install -r requirements.txt
  6. 6安装音频与对齐工具

    安装 sox 及 mp3 解码支持,再用脚本装 MFA 强制对齐工具,需 sudo 权限。

    sudo apt install -y sox libsox-fmt-mp3
    bash mfa_usr/install_mfa.sh

如何确认成功

能成功激活 venv 并导入项目模块(PYTHONPATH 生效),且 sox、MFA 命令可正常调用即安装完成。

常见问题

Q:可以用 Windows 或 macOS 吗?

A:README 只在 Linux/Ubuntu 18.04 上测试过,其他系统可能因 MFA 与 apt 依赖安装失败,建议用 Ubuntu 或 WSL。

Q:必须装 GPU 版 PyTorch 吗?

A:README 只给出 torch==1.9.0 的通用命令,未说明 CUDA 版本;如需 GPU 加速请按官方方式装对应 CUDA 版本。

Q:numpy 能装更高版本吗?

A:README 明确指定 numpy==1.19.1,随意升级可能引发兼容问题,建议严格按说明安装。

Q:PYTHONPATH 忘了设置会怎样?

A:会找不到项目内模块导致导入报错,需回到项目根目录重新 export PYTHONPATH=.。

注意事项

  • README 未提供数据预处理、训练、推理的具体命令,需自行查阅仓库文档。
  • MFA 安装脚本需要 sudo 权限和网络下载,耗时较长。
  • 官方提供 HuggingFace 在线 Demo,仅想体验可直接访问。
  • 建议严格使用 README 指定的 pip 与 numpy 版本,避免依赖冲突。

核心亮点

  • 官方实现,论文代码一致,复现结果有保障
  • 非自回归架构,推理速度显著快于自回归模型
  • 集成 PortaSpeech 和 DiffSpeech 两种前沿模型,研究价值高

不足之处

  • 文档偏学术,上手门槛较高
  • 依赖较多,环境配置复杂
  • 文档/社区待观察

适用场景

  • 学术研究:复现论文实验,对比非自回归 TTS 方法
  • 快速原型:验证新模型在 TTS 任务上的效果
  • 教学演示:学习非自回归语音合成原理

替代项目

ESPnet-TTS、Coqui TTS、ParallelWaveGAN

项目介绍

NATSpeech 是音频音乐领域的开源项目,由 NATSpeech 开发,2022 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,004)位列前 30%,在音频音乐分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-26。MIT许可证,完全免费,无付费版本。

它主要面向的使用场景是:学术研究:复现论文实验,对比非自回归TTS方法。同类可对比的替代方案包括 ESPnet-TTS、Coqui TTS、ParallelWaveGAN。

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 246 2026-08-09