FireRedTTS

用大模型驱动,一句话克隆声音,生成自然语音。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 86 🐛 待处理 37 👀 关注 35
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 923
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,基于MPL-2.0许可证,可免费使用和修改,无付费版本。

项目预览

FireRedTTS 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队FireRedTeam
定价模式🏷️完全免费
价格说明开源项目,基于MPL-2.0许可证,可免费使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MPL-2.0
主要语言Python
技术栈/模型diffusion,flow-matching,gan,language-model,speech,speech-synthesis,text-to-speech,tts,voice-clone
GitHub 星标★ 923
上线时间2024-08-15 00:00:00
代码更新2025-09-28
仓库体积3.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

FireRedTTS 是一个基于大语言模型(LLM)的开源语音合成(TTS)系统,旨在提供高质量、自然且可控的文本到语音生成能力。它结合了语言模型、扩散模型、流匹配和GAN等多种技术,能够处理复杂的语音合成任务,包括零样本语音克隆和跨语种合成。项目解决了传统TTS系统在韵律自然度、多说话人支持以及情感表达上的不足,通过LLM的上下文理解能力增强语音的语义一致性。核心能力包括:高表现力的语音合成、少样本/零样本声音克隆、多语言支持以及细粒度的韵律控制。其技术栈覆盖了从模型训练到推理的完整流程,适合研究者和开发者用于构建定制化语音应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 923

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 50 分钟 部署方式:本地 GPU 4 步

环境要求

  • NVIDIA GPU(8GB 显存起)
  • Python 3.10
  • ffmpeg

安装与启动步骤

  1. 1建环境

    官方指定 Python 3.10,PyTorch 固定 2.3.1,CUDA 11.8 或 12.1 二选一。

    conda create --name redtts python=3.10
    conda activate redtts
    conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
  2. 2装本仓库

    以可编辑方式装包,再补 requirements 里的其余依赖。

    pip install -e .
    pip install -r requirements.txt
  3. 3下权重

    按 README 给的位置放预训练模型,路径不对会在加载时报 key 缺失。

  4. 4跑合成

    用仓库脚本喂参考音频与文本,输出 wav;长文本建议切句后逐段合成再拼接。

如何确认成功

输出目录生成可播放的 wav,音色与参考音频一致。

注意事项

  • torch 版本必须严格对齐,混装 CUDA 12 与 11.8 的包会导致算子缺失。

核心亮点

  • 融合LLM与扩散/GAN,语音自然度和表现力优于传统TTS
  • 支持零样本声音克隆,只需几秒参考音频即可复刻音色
  • 提供完整训练和推理代码,便于二次开发和学术研究

不足之处

  • 早期项目,文档和社区支持尚不完善
  • 模型体积和推理速度可能较大,部署成本较高

适用场景

  • 个性化语音助手和虚拟人配音
  • 有声书和播客批量生成
  • 游戏或影视角色语音定制

替代项目

ChatTTS、CosyVoice、XTTS

上一篇:Step-Audio-EditX

下一篇:EDDiscovery

同类项目推荐

CapCut-TTS 开源

免费把剪映 TTS 变成 API,快速接入你的应用

CapCut TTS Wrapper API - CapCut API free tts

★ 114 2026-08-09
out-loud 开源

离线也能生成自然语音,跨平台免费使用

Free, open-source, 100% offline AI text-to-speech for macOS, Windows & Linux.

★ 98 2026-08-09
gitpodcast 开源

把代码仓库变成播客,通勤路上听懂新项目

Convert any git repository into an engaging podcast

★ 809 2026-08-09
tacotron2 开源

多说话人+情感语音合成,一键生成个性化语音

Multispeaker & Emotional TTS based on Tacotron 2 and Waveglow

★ 130 2026-08-09
qwen-tts2api 开源

把通义千问 TTS 包装成 OpenAI 接口,一行代码切换语音服务

️ Qwen TTS to OpenAI Speech API

★ 88 2026-08-09
teochew-g2p 开源

把潮州话汉字转成音素,让TTS能读出来

这是一个潮州话文本端的处理工具和正字标准,主要为潮州方言的语音合成服务

★ 81 2026-08-09
tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1243 2026-08-09
coqui_tts_korea 开源

用 Coqui 快速搭建韩语语音合成,开箱即用

Korean TTS using coqui TTS (glowtts and multiband melgan) - 한국어 TTS

★ 67 2026-08-09
MSMC-TTS 开源

多阶段码本生成,让语音合成更自然清晰

Official Implement of Multi-Stage Multi-Codebook (MSMC) TTS

★ 168 2026-08-09