UnitSpeech

无需转录文本,用少量语音样本即可克隆你的声音

开源 🏷️完全免费 ✅ 目前可打开 音频音乐 🍴 复刻 15 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 135
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,提供在线演示页面,可免费使用,无付费版本。

项目预览

UnitSpeech 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队gmltmd789
定价模式🏷️完全免费
价格说明开源项目,提供在线演示页面,可免费使用,无付费版本。
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Jupyter Notebook
技术栈/模型diffusion,pytorch,text-to-speech,unitspeech,voice-conversion
GitHub 星标★ 135
上线时间2023-06-28 00:00:00
代码更新2023-08-17
仓库体积3.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

UnitSpeech 是一个基于扩散模型的语音合成与声音转换开源项目,官方实现了同名论文《UnitSpeech: Speaker-adaptive Speech Synthesis with Untranscribed Data》。它解决的核心问题是:在缺乏目标说话人转录文本的情况下,如何仅凭少量未标注语音样本,实现高质量、个性化的语音合成与声音转换。项目利用自监督语音单元(如 HuBERT 特征)作为中间表示,解耦内容与说话人信息,再通过扩散模型生成自然流畅的语音。核心能力包括:零样本/少样本声音克隆、跨语种声音转换、以及无需文本标注的适应性训练。代码基于 PyTorch 和 Jupyter Notebook 提供,包含完整的训练与推理流程,适合研究语音合成、声音克隆和扩散模型应用的开发者。目前项目处于早期阶段,星标数不高,但技术路线新颖,为低资源个性化语音合成提供了新的解决思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 135

核心亮点

  • 无需转录文本,仅需未标注语音即可进行说话人自适应,大幅降低数据门槛
  • 基于扩散模型,生成语音的自然度和表现力优于传统自回归方法
  • 官方实现,代码结构清晰,包含训练和推理示例,便于复现论文结果

不足之处

  • 项目处于早期阶段,文档和社区支持尚不完善,上手需要一定研究背景
  • 依赖自监督语音单元提取,推理速度可能较慢,实时性待优化

适用场景

  • 个性化语音合成:为虚拟助手、游戏角色快速定制声音
  • 声音转换:在配音、影视后期中实现跨说话人声音转换
  • 低资源语音合成:为小语种或稀缺语音数据场景构建语音系统

替代项目

YourTTS、VITS、Coqui TTS

上一篇:articulate.js

下一篇:Verbify-TTS

同类项目推荐

jpreprocess 开源

用 Rust 重写 OpenJTalk,让日语 TTS 文本预处理更快更安全

Japanese text preprocessor for Text-to-Speech applications (OpenJTalk rewrite in rus···

★ 61 2026-08-09
xn-ptts 开源

用 Rust 跑 Phonon 语音合成推理

Phonon TTS inference using xn

★ 463 2026-11-08
so-vits-models 开源

一站式收藏AI模型,快速找到声音、图像、视频生成工具

收集有关so-vits-svc、TTS、SD、LLMs的各种模型、应用以及文字、声音、图片、视频有关的mo···

★ 210 2026-08-09
soprano 开源

输入文本,秒出超逼真语音,让应用开口说话。

Soprano: Instant, Ultra-Realistic Text-to-Speech

★ 1632 2026-08-09
gTTS 开源

几行代码调用谷歌翻译,把文字变成语音

Python library and CLI tool to interface with Google Translate's text-to-speech API

★ 2639 2026-08-09
ace-step-ui 开源

本地无限量生成音乐,免费白嫖 Suno 同款

The Ultimate Open Source Suno Alternative - Professional UI for ACE-Step 1.5 AI Musi···

★ 5190 2026-08-09
voicehub 开源

一套接口,调用所有 TTS 模型,快速集成语音合成。

VoiceHub: A Unified Inference Interface for TTS Models

★ 121 2026-08-09
voice-studio 开源

本地多模型 AI 语音生成,替代 ElevenLabs,省钱又私密。

A multi-model local AI Voice Generator (TTS) studio. An open-source alternative to E···

★ 228 2026-08-09
Learn2Sing2.0 开源

让AI模仿你的声音唱歌,用扩散模型实现个性化歌声合成

Diffusion and Mutual Information-Based Target Speaker SVS by Learning from Singing T···

★ 181 2026-08-09