UniCATS-CTX-txt2vec

用扩散模型生成自然语音,让 TTS 更有表现力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 8 🐛 待处理 5 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 64
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码公开,可自行部署使用,无付费版本。

项目预览

UniCATS-CTX-txt2vec 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队X-LANCE
定价模式🏷️完全免费
价格说明开源项目,代码公开,可自行部署使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型acoustic-model,ctx-txt2vec,speech-synthesis,text-to-speech,tts,unicats,vq-diffusion
GitHub 星标★ 64
上线时间2023-10-31 00:00:00
代码更新2024-11-18
仓库体积1012 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

UniCATS-CTX-txt2vec 是 AAAI 2024 论文中 UniCATS 语音合成系统的声学模型组件,基于 VQ-Diffusion 架构,将文本转换为语义 token 序列。它解决了传统 TTS 中韵律建模不足和跨语言泛化弱的问题,通过上下文感知的向量量化扩散模型,生成更自然、更具表现力的语音表征。核心能力包括:支持多语言语音合成、细粒度韵律控制、以及与 UniCATS 其他模块(如语音 tokenizer 和 vocoder)的无缝衔接。项目代码开源,便于研究者复现和二次开发,推动高质量语音合成技术发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 64

核心亮点

  • 基于 VQ-Diffusion 的声学建模,生成语音更自然
  • 与 UniCATS 全流程集成,支持从文本到语音端到端
  • 代码开源,便于复现和学术研究

不足之处

  • 文档/社区待观察
  • 依赖 UniCATS 其他组件,单独使用受限

适用场景

  • 学术研究:复现 AAAI 2024 论文实验
  • 多语言 TTS 系统开发
  • 语音合成质量优化与韵律控制

替代项目

VALL-E、NaturalSpeech 2、FastSpeech 2

上一篇:voices

下一篇:ComfyUI-Maya1_TTS

同类项目推荐

Transformer-TTS 开源

用 Transformer 替代 RNN,快速训练语音合成模型

A Pytorch Implementation of "Neural Speech Synthesis with Transformer Network"

★ 695 2026-08-09
HiggsAudio-Studio 开源

离线一键生成多角色播客和有声书,支持声音克隆。

No longer developed. Use Speech Studio: https://github.com/timoncool/speech-studio. ···

★ 100 2026-08-09
PolyLangVITS 开源

一个模型搞定中英日韩语音合成,开箱即用

Multi-speaker Speech Synthesis Using VITS(KO, JA, EN, ZH)

★ 75 2026-08-09
MangoByte 开源

在 Discord 里一键播放 Dota 英雄台词,还能 TTS 整活

A discord bot that provides the ability to play dota hero response clips, do tts, an···

★ 95 2026-08-09
rvc-webui 开源

一键部署网页版声音转换工具,轻松实现音色克隆与替换

liujing04/Retrieval-based-Voice-Conversion-WebUI reconstruction project

★ 522 2026-08-09
Music-SketchNet 开源

画个音乐草图,AI帮你生成完整旋律和节奏

ISMIR 2020 Paper repo: Music SketchNet: Controllable Music Generation via Factorized···

★ 83 2026-08-09
ACE-Step-1.5 开源

本地跑文本生成音乐,Mac/AMD/Intel 都能用

The most powerful local music generation model that outperforms almost all commercia···

★ 14561 2026-10-02
podcast_tts 开源

一键生成有对话感的播客音频,告别机械配音

A class for generating realistic audio (TTS) for podcasts and dialogues.

★ 67 2026-08-09
MOSS-TTS 开源

一站式生成高保真语音、对话、音效,支持实时流式输出

An open-source model family for long-form speech, dialogue synthesis, voice design, ···

★ 4310 2026-08-09