
Irodori-TTS
用表情符号控制语音风格,让 TTS 更生动自然
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1572
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 git(用于克隆仓库)
- 已安装 uv 包管理器(README 用 uv sync 管理依赖)
- NVIDIA GPU 与 CUDA 12.8 环境(默认 cu128 extra,支持 Linux/Windows)
- 可访问 Hugging Face 下载模型权重
安装与启动步骤
-
1克隆代码仓库
从 GitHub 拉取 Irodori-TTS 源码。main 分支对应 v4 代码库,适配 Irodori-TTS-v4.1-Small 发布版。
git clone https://github.com/Aratako/Irodori-TTS.git -
2进入项目目录
切换到克隆下来的仓库根目录,后续安装命令都在此目录执行。
cd Irodori-TTS -
3安装依赖
用 uv 同步依赖并安装 CUDA 12.8 版 PyTorch 后端,适用于 Linux/Windows。若需其他后端,参阅 README 的 backend extras 部分。
uv sync --extra cu128 -
4获取模型权重
README 未给出下载命令,需自行前往 Hugging Face 的 Irodori-TTS-v4.1-Small 模型卡获取权重与音频样例。
如何确认成功
README 未提供推理或服务启动命令,需按 v4.1-Small 模型卡示例运行推理来确认权重与环境可用。
常见问题
Q:必须用 NVIDIA GPU 吗?
A:README 默认安装命令 uv sync --extra cu128 面向 CUDA 12.8。README 提到可按需选择其他 PyTorch 后端 extras,但该部分内容被截断,请查看仓库原文。
Q:不同版本权重能混用吗?
A:不能随意混用。README 明确说明 v1 的权重与预处理同 v2/v3/v4 不兼容;main 分支保留对已发布 v2/v3 base 与 VoiceDesign 权重的向后兼容。
Q:支持哪些风格控制能力?
A:支持零样本声音克隆、多模态语音设计(文本+参考语音+描述文本)以及 emoji 风格控制;参考音频可拼接,上限为 checkpoint 的 120 秒。
Q:想要 OpenAI 兼容的推理接口怎么办?
A:README 指向独立仓库 Irodori-TTS-Server(https://github.com/Aratako/Irodori-TTS-Server),本项目本身只包含训练与推理代码。
注意事项
- main 分支跟踪 v4 代码库,配合统一的 Irodori-TTS-v4.1-Small 发布版使用。
- v3、v2、v1 的旧代码状态可通过对应 git tag 获取。
- 模型权重与音频样例在 Hugging Face 模型卡 Aratako/Irodori-TTS-v4.1-Small,需自行下载。
- 参考音频拼接总长度受 checkpoint 限制,最长 120 秒。
核心亮点
- 创新性地使用 emoji 作为风格控制信号,交互直观且无需额外标注
- 基于 Flow Matching 架构,生成语音质量高,训练稳定
- 支持零样本声音克隆,可快速适配新说话人
不足之处
- 项目较新,文档和社区生态仍在完善中
- 对 emoji 的语义映射依赖训练数据,可能对复杂或罕见表情支持有限
适用场景
- 有声书或播客制作,快速调整旁白情绪
- 游戏或虚拟角色配音,实现动态风格切换
- 辅助语音交互系统,让机器人表达更人性化
替代项目
Coqui TTS、Bark、XTTS
上一篇:TransformerTTS
下一篇:TTS-Audio-Suite
同类项目推荐
OpenMusenet2
开源
复现 OpenAI 音乐生成模型,用代码生成多风格 MIDI 音乐
Open source implementation of OpenAi's musenet
Hojo-TTS-Light
开源
小体积语音合成模型,低算力也能跑起来
Hojo-TTS-Light is a lightweight speech generation model series developed by HojoAI, ···
Transformer-TTS
开源
用 Transformer 替代 RNN,快速训练语音合成模型
A Pytorch Implementation of "Neural Speech Synthesis with Transformer Network"
FlexiCodec
开源
低帧率下也能保真,让音频编解码更灵活高效
[ICLR2026] FlexiCodec: A Dynamic Neural Audio Codec for Low Frame Rates
Chatterbox-TTS-Server
开源
一键自托管,轻松生成高质量语音,支持声音克隆和长文本处理。
Self-host the powerful Chatterbox TTS model. This server offers a user-friendly Web ···
TurkicTTS
开源
让十种突厥小语种也能拥有流畅语音合成
A multilingual text-to-speech synthesis system for ten lower-resourced Turkic langua···
MockingBird
开源
5 秒复刻一个声音,你说什么它就能说什么
Clone a voice in 5 seconds to generate arbitrary speech in real-time
nano-qwen3tts-vllm
开源
给 Qwen3-TTS 装上轻量推理引擎,语音生成快约 3 倍
Qwen3-TTS with nano vLLM-style optimizations for fast text-to-speech generation. Ach···
HOT-Step-CPP
开源
拧旋钮,本地 C++ 离线生成 AI 音乐
Turn dials. Summon bangers! NOW WITH MORE C++! Local AI music generation powered by ···