Irodori-TTS

用表情符号控制语音风格,让 TTS 更生动自然

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 185 🐛 待处理 18 👀 关注 18
GitHub ↗
GitHub 星标 ★ 1572
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

Irodori-TTS 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队Aratako
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffusion-models,flow-matching,python,speech-synthesis,text-to-speech,tts,voice-cloning
GitHub 星标★ 1572
上线时间2026-02-25 00:00:00
代码更新2026-11-09
仓库体积393 KB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

Irodori-TTS 是一个基于 Flow Matching 的文本转语音(TTS)模型,特色在于通过表情符号(emoji)驱动风格控制。它解决了传统 TTS 模型在情感表达和风格切换上不够灵活的问题,允许用户直接在文本中插入 emoji 来指定语气、情绪或说话风格,从而生成更自然、更具表现力的语音。项目核心能力包括高质量语音合成、零样本声音克隆以及细粒度的风格控制。技术栈基于 Python 和扩散/流匹配模型,支持多说话人,并提供了训练和推理的完整流程。目前项目处于成长阶段,社区活跃,适合对个性化语音合成和情感表达有需求的开发者或研究者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1572

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 4 步

环境要求

  • 已安装 git(用于克隆仓库)
  • 已安装 uv 包管理器(README 用 uv sync 管理依赖)
  • NVIDIA GPU 与 CUDA 12.8 环境(默认 cu128 extra,支持 Linux/Windows)
  • 可访问 Hugging Face 下载模型权重

安装与启动步骤

  1. 1克隆代码仓库

    从 GitHub 拉取 Irodori-TTS 源码。main 分支对应 v4 代码库,适配 Irodori-TTS-v4.1-Small 发布版。

    git clone https://github.com/Aratako/Irodori-TTS.git
  2. 2进入项目目录

    切换到克隆下来的仓库根目录,后续安装命令都在此目录执行。

    cd Irodori-TTS
  3. 3安装依赖

    用 uv 同步依赖并安装 CUDA 12.8 版 PyTorch 后端,适用于 Linux/Windows。若需其他后端,参阅 README 的 backend extras 部分。

    uv sync --extra cu128
  4. 4获取模型权重

    README 未给出下载命令,需自行前往 Hugging Face 的 Irodori-TTS-v4.1-Small 模型卡获取权重与音频样例。

如何确认成功

README 未提供推理或服务启动命令,需按 v4.1-Small 模型卡示例运行推理来确认权重与环境可用。

常见问题

Q:必须用 NVIDIA GPU 吗?

A:README 默认安装命令 uv sync --extra cu128 面向 CUDA 12.8。README 提到可按需选择其他 PyTorch 后端 extras,但该部分内容被截断,请查看仓库原文。

Q:不同版本权重能混用吗?

A:不能随意混用。README 明确说明 v1 的权重与预处理同 v2/v3/v4 不兼容;main 分支保留对已发布 v2/v3 base 与 VoiceDesign 权重的向后兼容。

Q:支持哪些风格控制能力?

A:支持零样本声音克隆、多模态语音设计(文本+参考语音+描述文本)以及 emoji 风格控制;参考音频可拼接,上限为 checkpoint 的 120 秒。

Q:想要 OpenAI 兼容的推理接口怎么办?

A:README 指向独立仓库 Irodori-TTS-Server(https://github.com/Aratako/Irodori-TTS-Server),本项目本身只包含训练与推理代码。

注意事项

  • main 分支跟踪 v4 代码库,配合统一的 Irodori-TTS-v4.1-Small 发布版使用。
  • v3、v2、v1 的旧代码状态可通过对应 git tag 获取。
  • 模型权重与音频样例在 Hugging Face 模型卡 Aratako/Irodori-TTS-v4.1-Small,需自行下载。
  • 参考音频拼接总长度受 checkpoint 限制,最长 120 秒。

核心亮点

  • 创新性地使用 emoji 作为风格控制信号,交互直观且无需额外标注
  • 基于 Flow Matching 架构,生成语音质量高,训练稳定
  • 支持零样本声音克隆,可快速适配新说话人

不足之处

  • 项目较新,文档和社区生态仍在完善中
  • 对 emoji 的语义映射依赖训练数据,可能对复杂或罕见表情支持有限

适用场景

  • 有声书或播客制作,快速调整旁白情绪
  • 游戏或虚拟角色配音,实现动态风格切换
  • 辅助语音交互系统,让机器人表达更人性化

替代项目

Coqui TTS、Bark、XTTS

上一篇:TransformerTTS

下一篇:TTS-Audio-Suite

同类项目推荐

OpenMusenet2 开源

复现 OpenAI 音乐生成模型,用代码生成多风格 MIDI 音乐

Open source implementation of OpenAi's musenet

★ 70 2026-08-09
Hojo-TTS-Light 开源

小体积语音合成模型,低算力也能跑起来

Hojo-TTS-Light is a lightweight speech generation model series developed by HojoAI, ···

★ 615 2026-11-08
Transformer-TTS 开源

用 Transformer 替代 RNN,快速训练语音合成模型

A Pytorch Implementation of "Neural Speech Synthesis with Transformer Network"

★ 695 2026-08-09
FlexiCodec 开源

低帧率下也能保真,让音频编解码更灵活高效

[ICLR2026] FlexiCodec: A Dynamic Neural Audio Codec for Low Frame Rates

★ 55 2026-08-09
Chatterbox-TTS-Server 开源

一键自托管,轻松生成高质量语音,支持声音克隆和长文本处理。

Self-host the powerful Chatterbox TTS model. This server offers a user-friendly Web ···

★ 1498 2026-08-09
TurkicTTS 开源

让十种突厥小语种也能拥有流畅语音合成

A multilingual text-to-speech synthesis system for ten lower-resourced Turkic langua···

★ 87 2026-08-09
MockingBird 开源

5 秒复刻一个声音,你说什么它就能说什么

Clone a voice in 5 seconds to generate arbitrary speech in real-time

★ 36872 2026-08-09
nano-qwen3tts-vllm 开源

给 Qwen3-TTS 装上轻量推理引擎,语音生成快约 3 倍

Qwen3-TTS with nano vLLM-style optimizations for fast text-to-speech generation. Ach···

★ 139 2026-10-28
HOT-Step-CPP 开源

拧旋钮,本地 C++ 离线生成 AI 音乐

Turn dials. Summon bangers! NOW WITH MORE C++! Local AI music generation powered by ···

★ 194 2026-10-02