NATSpeech

并行生成语音,速度翻倍,效果不输自回归

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 99 🐛 待处理 21 👀 关注 20
GitHub ↗
GitHub 星标 ★ 1005
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源框架,MIT许可证,完全免费,无付费版本。

项目预览

NATSpeech 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队NATSpeech
定价模式🏷️完全免费
价格说明开源框架,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffsinger,diffspeech,huggingface,portaspeech,pytorch,speech,speech-synthesis,tts
GitHub 星标★ 1005
上线时间2022-02-13 00:00:00
代码更新2023-04-02
仓库体积177 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

NATSpeech 是一个非自回归语音合成(NAR-TTS)框架,基于 PyTorch 实现,集成了 PortaSpeech(NeurIPS 2021)和 DiffSpeech(AAAI 2022)两个官方模型。它解决了传统自回归 TTS 推理速度慢、稳定性差的问题,通过并行生成梅尔频谱,大幅提升合成效率。核心能力包括:支持多种非自回归声学模型训练与推理、提供完整的预处理流程、支持多说话人训练、集成扩散模型和变分推理等先进技术。项目代码结构清晰,便于研究者复现论文结果和开发新模型,适合学术研究和工业快速原型验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1005

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 40 分钟 部署方式:本地安装 6 步

环境要求

  • Linux/Ubuntu 18.04(README 实测环境)
  • Python 3.6+,建议用 Anaconda
  • PyTorch >= 1.9.0
  • 需要 sudo 权限安装 sox 和 MFA 强制对齐工具

安装与启动步骤

  1. 1创建并激活虚拟环境

    用 venv 建隔离环境,避免污染系统 Python 包;全程保持激活状态。

    python -m venv venv
    source venv/bin/activate
  2. 2设置 PYTHONPATH

    README 要求把项目根目录加入 PYTHONPATH,否则模块导入会失败,需在项目根目录执行。

    export PYTHONPATH=.
  3. 3安装基础依赖

    先升级 pip,再装指定版本 Cython 与 numpy==1.19.1,numpy 版本不可随意改。

    pip install -U pip
    pip install Cython numpy==1.19.1
  4. 4安装 PyTorch

    安装 torch 1.9.0,README 建议至少 1.9.0;有 GPU 需自行按 CUDA 版本调整。

    pip install torch==1.9.0
  5. 5安装项目依赖

    在项目根目录通过 requirements.txt 安装其余 Python 依赖。

    pip install -r requirements.txt
  6. 6安装音频与对齐工具

    安装 sox 及 mp3 解码支持,再用脚本装 MFA 强制对齐工具,需 sudo 权限。

    sudo apt install -y sox libsox-fmt-mp3
    bash mfa_usr/install_mfa.sh

如何确认成功

能成功激活 venv 并导入项目模块(PYTHONPATH 生效),且 sox、MFA 命令可正常调用即安装完成。

常见问题

Q:可以用 Windows 或 macOS 吗?

A:README 只在 Linux/Ubuntu 18.04 上测试过,其他系统可能因 MFA 与 apt 依赖安装失败,建议用 Ubuntu 或 WSL。

Q:必须装 GPU 版 PyTorch 吗?

A:README 只给出 torch==1.9.0 的通用命令,未说明 CUDA 版本;如需 GPU 加速请按官方方式装对应 CUDA 版本。

Q:numpy 能装更高版本吗?

A:README 明确指定 numpy==1.19.1,随意升级可能引发兼容问题,建议严格按说明安装。

Q:PYTHONPATH 忘了设置会怎样?

A:会找不到项目内模块导致导入报错,需回到项目根目录重新 export PYTHONPATH=.。

注意事项

  • README 未提供数据预处理、训练、推理的具体命令,需自行查阅仓库文档。
  • MFA 安装脚本需要 sudo 权限和网络下载,耗时较长。
  • 官方提供 HuggingFace 在线 Demo,仅想体验可直接访问。
  • 建议严格使用 README 指定的 pip 与 numpy 版本,避免依赖冲突。

核心亮点

  • 官方实现,论文代码一致,复现结果有保障
  • 非自回归架构,推理速度显著快于自回归模型
  • 集成 PortaSpeech 和 DiffSpeech 两种前沿模型,研究价值高

不足之处

  • 文档偏学术,上手门槛较高
  • 依赖较多,环境配置复杂
  • 文档/社区待观察

适用场景

  • 学术研究:复现论文实验,对比非自回归 TTS 方法
  • 快速原型:验证新模型在 TTS 任务上的效果
  • 教学演示:学习非自回归语音合成原理

替代项目

ESPnet-TTS、Coqui TTS、ParallelWaveGAN

同类项目推荐

DeepMusicvStyle 开源

指定风格,一键生成对应旋律的 MIDI 音乐

Code repo for ICME 2020 paper "Style-Conditioned Music Generation". VAE model that a···

★ 52 2026-08-09
speaker_adapted_tts 开源

1分钟语音样本,10分钟训练出你的专属TTS模型

Making a TTS model with 1 minute of speech samples within 10 minutes

★ 184 2026-08-09
java-tts 开源

用 Java 轻松调用 Edge TTS,几行代码实现文本转语音

java-tts 文本转语音

★ 62 2026-08-09
piper-app 开源

在苹果设备上离线运行 Piper TTS,快速生成自然语音。

The original Piper(https://github.com/OHF-Voice/piper1-gpl), now on iOS and macOS

★ 70 2026-08-09
word2wave 开源

输入文字,快速生成短音频样本

Word2Wave: a framework for generating short audio samples from a text prompt using W···

★ 119 2026-08-09
ebook2audiobookpiper-tts 开源

一键把电子书变成有声书,支持多语言,Docker 部署即用

Converts ebooks into audiobooks with piper-tts

★ 107 2026-08-09
google-tts 开源

一行代码调 Google 免费语音合成,快速生成 MP3

Google TTS (Text-To-Speech) for node.js

★ 287 2026-08-09
vst 开源

在DAW里输入文字,直接生成声音,创意音色一键即得

Generate sounds from words. Directly in your DAW.

★ 143 2026-08-09
vits_chinese 开源

中文语音合成更自然,支持流式输出,开箱即用

Best practice TTS based on BERT and VITS with some Natural Speech Features Of Micros···

★ 1232 2026-08-09