ControlSpeech

几秒克隆音色,同时随心控制说话风格

ControlSpeech 是一个基于 ACL 2025 论文的零样本语音克隆与语言风格控制开源项目。它解决的核心问题是:传统语音合成模型难以同时实现说话人音色克隆和语言风格(如情感、语速、韵律)的灵活控制,且通常需要大量参考音频。ControlSpeech 采用解耦编解码器架构,将说话人特征与风格特征分离,允许用户仅用极短的参考音频(如几秒)克隆音色,同时通过文本指令或风格提示独立控制语言风格,实现两者同步生成。项目提供完整的训练和推理代码,支持自定义数据集,并内置预训练模型。其核心能力包括零样本说话人克隆、细粒度风格控制、以及高自然度的语音合成,适用于个性化语音助手、有声内容创作、游戏角色配音等场景。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 277
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队jishengpeng
所属国家
官网地址
定价模式free
价格说明开源项目,本地部署,完全免费。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型controlspeech,instructtts,promptstyle,prompttts,text-to-speech
GitHub 星标★ 277
30天Star增速
HF 下载量
上线时间2024-06-02 00:00:00
最近更新2026-09-02 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

核心亮点

  • 解耦编解码器架构,音色与风格独立控制,互不干扰
  • 零样本克隆,仅需数秒参考音频即可复刻说话人音色
  • 支持风格提示和文本指令,灵活控制情感、语速等韵律特征

不足之处

  • 早期项目,文档和社区支持尚待完善
  • 模型训练资源要求较高,普通用户难以快速上手

适用场景

  • 个性化语音助手,定制专属音色和说话风格
  • 有声书或播客制作,快速生成不同角色配音
  • 游戏或动画角色配音,实现风格化语音输出

替代项目

XTTS、OpenVoice、CosyVoice

项目介绍

ControlSpeech 是音频音乐领域的开源项目,由 jishengpeng 开发,2024 年首次发布。

它收录于音频音乐分类,该分类目前共有 738 个项目,GitHub 星标数为 277。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-02。本地部署,完全免费。

它主要面向的使用场景是:个性化语音助手,定制专属音色和说话风格。同类可对比的替代方案包括 XTTS、OpenVoice、CosyVoice。

上一篇:tetos

下一篇:kokoro-ios

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 246 2026-08-09