IMS-Toucan

一键生成7000种语言的自然语音,还能控制情感和语速

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 319 🐛 待处理 4 👀 关注 25
GitHub ↗
GitHub 星标 ★ 2212
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署,无付费版本。

项目预览

IMS-Toucan 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队DigitalPhonetics
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型deep-learning,pytorch,speech,speech-processing,speech-synthesis,text-to-speech,toolkit,tts
GitHub 星标★ 2212
上线时间2021-08-05 00:00:00
代码更新2026-01-25
仓库体积22.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

IMS-Toucan 是一个基于 PyTorch 的可控且快速的文本转语音(TTS)工具包,声称支持超过 7000 种语言。它旨在解决多语言语音合成中音色、情感、语速等控制能力不足和生成速度慢的问题。核心能力包括:多语言支持(利用多语言模型和音素转换)、细粒度的韵律和情感控制、快速推理(支持批量合成和流式输出),以及提供预训练模型和简单易用的 API。项目采用模块化设计,便于研究人员和开发者进行二次开发和集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2212

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 15 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目使用 Python 开发)
  • PyTorch(项目技术栈为 PyTorch 深度学习)
  • 足够的磁盘空间:预训练模型、训练模型与数据集预处理缓存都会占用空间
  • 可选 GPU:README 提到 Hugging Face 上提供 GPU 实例运行该模型,本地训练/推理建议有 GPU

安装与启动步骤

  1. 1获取源码

    从官方 GitHub 仓库克隆代码到本地,注意使用 DigitalPhonetics 官方仓库地址,避免第三方仿冒版本。

    git clone https://github.com/DigitalPhonetics/IMS-Toucan.git
  2. 2进入项目目录

    切换到刚克隆下来的仓库根目录,后续的配置与运行都在该目录下进行。

    cd IMS-Toucan
  3. 3查阅仓库安装文档

    README 节选中只给出了存储配置说明,未提供 pip/conda 安装命令;请在仓库内文档中确认依赖安装与运行方式。

  4. 4配置存储目录

    若不想把预训练模型、训练模型和预处理缓存放在默认子目录,可编辑该文件设置全局目录,路径可为相对仓库根目录或绝对路径。

  5. 5在线试用 Demo

    安装前可先在官方 Hugging Face Space 上试用多语言合成效果,确认是否符合需求(README 提供免费 GPU 实例)。

关键配置

配置项必填说明示例
Utility/storage_config.py 中的存储路径设置否全局指定预训练模型、训练模型与预处理缓存的存放目录/your/path

如何确认成功

README 未给出启动验证方式;可对照官方 Hugging Face Demo 的合成结果,确认本地推理输出正常。

常见问题

Q:IMS-Toucan 支持多少种语言?

A:官方称基于多语言模型与音素转换,支持超过 7000 种语言,并在 Hugging Face 提供多语言 Demo。

Q:运行需要很强的算力吗?

A:README 称该系统快速、可控且不需要大量算力,并在 Hugging Face 上提供免费 GPU 实例可直接使用。

Q:为什么教程里没有 pip install 命令?

A:README 节选中未提供安装命令,只说明了存储配置;请以仓库最新文档和代码为准,不要照搬外部来源。

Q:模型和缓存默认存在哪里?

A:默认存放在仓库的子目录中,可通过编辑 Utility/storage_config.py 改为相对仓库根目录或绝对路径的其他位置。

注意事项

  • README 节选未包含安装命令与运行示例,本教程仅依据其中明确出现的信息整理,安装细节请查阅仓库最新文档。
  • 预训练模型、训练模型与数据集预处理缓存会占用较大磁盘空间,建议提前规划存储位置。
  • 可先使用官方 Hugging Face Space 免费试用,再决定是否本地部署。
  • 官方仅通过 GitHub Sponsors 接受赞助,其他平台自称作者索要赞助的均为骗子,代码和模型本身完全免费。

核心亮点

  • 支持语言数量惊人,覆盖主流及小众语言,适合全球化应用
  • 提供细粒度的韵律控制(如语速、停顿、重音),可生成表现力丰富的语音
  • 推理速度快,支持批量处理,适合生产环境部署

不足之处

  • 文档和示例相对较少,新手入门可能有一定门槛
  • 对多语言支持的质量可能不均衡,部分语言合成效果待优化

适用场景

  • 多语言语音助手或有声书内容生成
  • 游戏或影视角色的多语言配音
  • 辅助语言学习工具,提供标准发音示范

替代项目

Coqui TTS、ESPnet-TTS、Mozilla TTS

上一篇:vall-e

下一篇:GPA

同类项目推荐

vst 开源

在DAW里输入文字,直接生成声音,创意音色一键即得

Generate sounds from words. Directly in your DAW.

★ 143 2026-08-09
liquid-audio 开源

端到端语音互转,实时交互低延迟

Liquid Audio - Speech-to-Speech audio models by Liquid AI

★ 592 2026-08-09
AivisSpeech-Engine 开源

上传声音样本,即刻生成日文语音,还能模仿音色。

AivisSpeech Engine: AI Voice Imitation System - Text to Speech Engine

★ 185 2026-08-09
Tacotron-pytorch 开源

用 PyTorch 快速上手 Tacotron,训练自己的语音合成模型

Pytorch implementation of Tacotron

★ 206 2026-08-09
chatterbox-tts-api 开源

本地跑个 OpenAI 兼容的语音克隆 API,随便接进你的 AI 应用

Local, OpenAI-compatible text-to-speech (TTS) API using Chatterbox, enabling users t···

★ 692 2026-08-09
c-rnn-gan.pytorch 开源

用对抗网络生成连贯钢琴曲,上手即用

PyTorch implementation of C-RNN-GAN for Music Generation

★ 67 2026-08-09
glow-tts 开源

用生成流实现快速、高质量的端到端语音合成

A Generative Flow for Text-to-Speech via Monotonic Alignment Search

★ 717 2026-08-09
Qwen3-TTS-GGUF 开源

把 Qwen3-TTS 塞进 llama.cpp,本地语音合成快起来

最极速的Qwen3-TTS推理方案。将 Qwen3-TTS 的 LLM 部分导出为 GGUF,用 llama.cpp 进行加速···

★ 193 2026-10-16
SpatialFlow 开源

一个 App 管在线与本地音乐,还带音效调校

SpatialFlow delivers a next-generation music experience on Android, blending online ···

★ 325 2026-10-29