CDFSE_FastSpeech2

零样本语音合成,让AI模仿任何人的声音更逼真

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 11 🐛 待处理 13 👀 关注 3
GitHub ↗
GitHub 星标 ★ 86
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由使用,无付费版本。

项目预览

CDFSE_FastSpeech2 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队Labmem-Zhouyx
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型pytorch-implementation,speaker,tts
GitHub 星标★ 86
上线时间2022-01-17 00:00:00
代码更新2022-12-20
仓库体积126.1 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

CDFSE_FastSpeech2 是论文《Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis》的官方实现,基于 FastSpeech 2 架构,提出内容相关的细粒度说话人嵌入方法,用于解决零样本语音合成中的说话人自适应问题。传统方法通常使用全局说话人嵌入,难以捕捉发音内容对音色的影响,导致合成语音相似度不足。该项目通过将说话人嵌入与文本内容动态结合,生成更精细的说话人表征,从而提升零样本场景下合成语音的说话人相似度和自然度。核心能力包括:支持零样本说话人自适应、提供完整的训练和推理流程、兼容 LJSpeech 等常见数据集。项目代码基于 Python 和 PyTorch,适合语音合成研究者进行实验和对比。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 86

核心亮点

  • 提出内容相关的细粒度说话人嵌入,相比全局嵌入更能捕捉发音细节,提升相似度
  • 官方实现,代码结构清晰,便于复现论文实验
  • 基于 FastSpeech 2,合成速度快,适合实际应用

不足之处

  • 文档和社区支持待观察,项目处于早期阶段
  • 依赖特定数据集和预训练模型,上手门槛较高

适用场景

  • 语音合成研究中的零样本说话人自适应实验
  • 个性化语音助手或有声书制作,需快速克隆新声音
  • 多说话人语音合成系统的扩展与优化

替代项目

YourTTS、VITS、AdaSpeech

上一篇:tts-server-go

下一篇:GST-Tacotron

同类项目推荐

Catch-A-Waveform 开源

给一段短音频,生成同风格无限续写

Official pytorch implementation of the paper: "Catch-A-Waveform: Learning to Generat···

★ 191 2026-08-09
ncnn-android-piper 开源

手机本地跑神经语音合成,离线秒出中文英文语音

ncnn android piper the fast and local neural text-to-speech engine

★ 72 2026-08-09
CDCD 开源

用图像生成音乐,或反之,跨模态创作一键搞定

[ICLR2023] Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation···

★ 163 2026-08-09
mustango 开源

用自然语言精准控制音乐生成,让每句描述都变成旋律。

Mustango: Toward Controllable Text-to-Music Generation

★ 396 2026-08-09
DiffGAN-TTS 开源

用扩散+GAN,几步生成高保真语音,又快又真

PyTorch Implementation of DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech wi···

★ 351 2026-08-09
tts-now 开源

一键将文字转为自然语音,支持批量处理,跨平台免费开源

跨平台基于云平台(阿里云、讯飞等)语音合成 API 的文字转语音助手。支持单文本快速合成和批···

★ 370 2026-08-09
GST-Tacotron 开源

给语音合成装上风格旋钮,一句话控制情感语调

A PyTorch implementation of Style Tokens: Unsupervised Style Modeling, Control and T···

★ 374 2026-08-09
e2-tts-pytorch 开源

几行代码实现零样本语音克隆,让 TTS 不再复杂

Implementation of E2-TTS, "Embarrassingly Easy Fully Non-Autoregressive Zero-Shot TT···

★ 520 2026-08-09