Irodori-TTS

用表情符号控制语音风格,让 TTS 更生动自然

Irodori-TTS 是一个基于 Flow Matching 的文本转语音(TTS)模型,特色在于通过表情符号(emoji)驱动风格控制。它解决了传统 TTS 模型在情感表达和风格切换上不够灵活的问题,允许用户直接在文本中插入 emoji 来指定语气、情绪或说话风格,从而生成更自然、更具表现力的语音。项目核心能力包括高质量语音合成、零样本声音克隆以及细粒度的风格控制。技术栈基于 Python 和扩散/流匹配模型,支持多说话人,并提供了训练和推理的完整流程。目前项目处于成长阶段,社区活跃,适合对个性化语音合成和情感表达有需求的开发者或研究者。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1315
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队Aratako
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffusion-models,flow-matching,python,speech-synthesis,text-to-speech,tts,voice-cloning
GitHub 星标★ 1315
30天Star增速
HF 下载量
上线时间2026-02-25 00:00:00
最近更新2026-09-23 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 4 步

环境要求

  • 已安装 git(用于克隆仓库)
  • 已安装 uv 包管理器(README 用 uv sync 管理依赖)
  • NVIDIA GPU 与 CUDA 12.8 环境(默认 cu128 extra,支持 Linux/Windows)
  • 可访问 Hugging Face 下载模型权重

安装与启动步骤

  1. 1克隆代码仓库

    从 GitHub 拉取 Irodori-TTS 源码。main 分支对应 v4 代码库,适配 Irodori-TTS-v4.1-Small 发布版。

    git clone https://github.com/Aratako/Irodori-TTS.git
  2. 2进入项目目录

    切换到克隆下来的仓库根目录,后续安装命令都在此目录执行。

    cd Irodori-TTS
  3. 3安装依赖

    用 uv 同步依赖并安装 CUDA 12.8 版 PyTorch 后端,适用于 Linux/Windows。若需其他后端,参阅 README 的 backend extras 部分。

    uv sync --extra cu128
  4. 4获取模型权重

    README 未给出下载命令,需自行前往 Hugging Face 的 Irodori-TTS-v4.1-Small 模型卡获取权重与音频样例。

如何确认成功

README 未提供推理或服务启动命令,需按 v4.1-Small 模型卡示例运行推理来确认权重与环境可用。

常见问题

Q:必须用 NVIDIA GPU 吗?

A:README 默认安装命令 uv sync --extra cu128 面向 CUDA 12.8。README 提到可按需选择其他 PyTorch 后端 extras,但该部分内容被截断,请查看仓库原文。

Q:不同版本权重能混用吗?

A:不能随意混用。README 明确说明 v1 的权重与预处理同 v2/v3/v4 不兼容;main 分支保留对已发布 v2/v3 base 与 VoiceDesign 权重的向后兼容。

Q:支持哪些风格控制能力?

A:支持零样本声音克隆、多模态语音设计(文本+参考语音+描述文本)以及 emoji 风格控制;参考音频可拼接,上限为 checkpoint 的 120 秒。

Q:想要 OpenAI 兼容的推理接口怎么办?

A:README 指向独立仓库 Irodori-TTS-Server(https://github.com/Aratako/Irodori-TTS-Server),本项目本身只包含训练与推理代码。

注意事项

  • main 分支跟踪 v4 代码库,配合统一的 Irodori-TTS-v4.1-Small 发布版使用。
  • v3、v2、v1 的旧代码状态可通过对应 git tag 获取。
  • 模型权重与音频样例在 Hugging Face 模型卡 Aratako/Irodori-TTS-v4.1-Small,需自行下载。
  • 参考音频拼接总长度受 checkpoint 限制,最长 120 秒。

核心亮点

  • 创新性地使用 emoji 作为风格控制信号,交互直观且无需额外标注
  • 基于 Flow Matching 架构,生成语音质量高,训练稳定
  • 支持零样本声音克隆,可快速适配新说话人

不足之处

  • 项目较新,文档和社区生态仍在完善中
  • 对 emoji 的语义映射依赖训练数据,可能对复杂或罕见表情支持有限

适用场景

  • 有声书或播客制作,快速调整旁白情绪
  • 游戏或虚拟角色配音,实现动态风格切换
  • 辅助语音交互系统,让机器人表达更人性化

替代项目

Coqui TTS、Bark、XTTS

项目介绍

Irodori-TTS 是音频音乐领域的开源项目,由 Aratako 开发,是 2026 年新上线的项目。

在全站 13,090 个收录项目中,它的 GitHub 星标数(1,315)位列前 30%,在音频音乐分类的 738 个项目里位列前 14%。

近 42 天,它的 GitHub 星标从 1,169 增加到 1,315,净增 146。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-23。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:有声书或播客制作,快速调整旁白情绪。同类可对比的替代方案包括 Coqui TTS、Bark、XTTS。

上一篇:TransformerTTS

下一篇:TTS-Audio-Suite

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 246 2026-08-09