UniCATS-CTX-txt2vec 是音频音乐领域的开源项目，由 X-LANCE 开发，2023 年首次发布。
它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 64。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-03-23。代码公开，可自行部署使用，无付费版本。
它主要面向的使用场景是：学术研究：复现AAAI2024论文实验。同类可对比的替代方案包括 VALL-E、NaturalSpeech 2、FastSpeech 2。
UniCATS-CTX-txt2vec
用扩散模型生成自然语音，让 TTS 更有表现力
UniCATS-CTX-txt2vec 是 AAAI 2024 论文中 UniCATS 语音合成系统的声学模型组件，基于 VQ-Diffusion 架构，将文本转换为语义 token 序列。它解决了传统 TTS 中韵律建模不足和跨语言泛化弱的问题，通过上下文感知的向量量化扩散模型，生成更自然、更具表现力的语音表征。核心能力包括：支持多语言语音合成、细粒度韵律控制、以及与 UniCATS 其他模块（如语音 tokenizer 和 vocoder）的无缝衔接。项目代码开源，便于研究者复现和二次开发，推动高质量语音合成技术发展。
开源
free
音频音乐
GitHub 星标
★ 64
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类音频音乐
开发团队X-LANCE
所属国家
定价模式free
价格说明开源项目，代码公开，可自行部署使用，无付费版本。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型acoustic-model,ctx-txt2vec,speech-synthesis,text-to-speech,tts,unicats,vq-diffusion
GitHub 星标★ 64
30天Star增速
HF 下载量
上线时间2023-10-31 00:00:00
最近更新2025-03-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 基于 VQ-Diffusion 的声学建模，生成语音更自然
- 与 UniCATS 全流程集成，支持从文本到语音端到端
- 代码开源，便于复现和学术研究
不足之处
- 文档/社区待观察
- 依赖 UniCATS 其他组件，单独使用受限
适用场景
- 学术研究：复现 AAAI 2024 论文实验
- 多语言 TTS 系统开发
- 语音合成质量优化与韵律控制
替代项目
VALL-E、NaturalSpeech 2、FastSpeech 2
项目介绍
上一篇：voices
同类项目推荐
tango
开源
输入一句话，自动生成匹配的音频内容
A family of diffusion models for text-to-audio generation.
AuK
开源
一个模型搞定语音生成、编辑与分离
AuK: An Open-Source Foundational Model for Speech Generation and Editing
swift-tts
开源
Swift 项目三行代码接入系统 TTS，兼容 TCA 和 Combine
A straightforward package containing version for Swift modern concurrency, Point-Fre···
ai-dj
开源
现场演出中实时用 AI 生成音乐，保持人类掌控
AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···