Confucius4-TTS

一句话克隆音色,跨语言说外语

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 88 🐛 待处理 12 👀 关注 5
GitHub ↗
GitHub 星标 ★ 858
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费,无付费版本。

项目预览

Confucius4-TTS 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队netease-youdao
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型audio,cross-lingual,deep-learning,fine-tuning,multi-lingual,python,pytorch,speech-synthesis,text-to-speech,tts,voice-clone,zero-shot-tts
GitHub 星标★ 858
上线时间2026-05-19 00:00:00
代码更新2026-11-04
仓库体积2.3 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数7

项目介绍

Confucius4-TTS 是一个多语言与跨语言零样本语音合成引擎,基于 PyTorch 构建。它解决的核心问题是:在无需针对特定说话人进行微调的情况下,用极少量的参考音频即可克隆音色,并支持跨语言生成语音。例如,用中文参考音频生成英文或日语的语音,同时保持原说话人的音色特征。其核心能力包括零样本语音克隆、多语言与跨语言支持、说话人一致性保持,以及提供预训练模型和微调工具,方便开发者集成到实际应用中。项目处于早期阶段,但已具备完整的技术框架和基础功能。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 858

使用教程

难度:进阶 约 35 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.10
  • NVIDIA GPU(建议 16G+)

安装与启动步骤

  1. 1建环境

    官方 Python 3.10。

    git clone https://github.com/netease-youdao/Confucius4-TTS.git
    conda create -n confuciustts python=3.10 -y
    conda activate confuciustts
    pip install -r requirements.txt
  2. 2跑示例

    先用自带示例合成一段,确认权重与路径。

    python example.py --text "你好,这是一段合成语音"
  3. 3起界面

    WebUI 支持多语言与跨语种音色。

    python webui.py --port 7860
  4. 4加速推理

    要低延迟就换 vllm 后端。

    pip install -r requirements_vllm_add.txt
    python example_vllm.py

如何确认成功

生成的音频可播放,跨语种句子也读得自然。

注意事项

  • 它基于语音编码器 + LLM 的架构,多语言是主要卖点。
  • 训练脚本在 cli 下,微调要另备数据。
  • vllm 环境建议 clone 一份,避免和主环境冲突。

核心亮点

  • 零样本克隆:只需几秒参考音频即可复刻音色,无需额外训练
  • 跨语言生成:支持中文、英文等多语言混合,音色一致性较好
  • 基于 PyTorch 实现,代码结构清晰,便于二次开发和部署

不足之处

  • 早期项目,文档和社区支持待观察
  • 大规模生产环境的稳定性和性能未充分验证

适用场景

  • 多语言有声内容制作,如播客、有声书快速配音
  • 游戏或虚拟人角色语音定制,快速生成不同语言版本
  • 辅助语言学习,生成个性化发音示范

替代项目

XTTS、OpenVoice、Bark

上一篇:cboard

下一篇:glow-tts

同类项目推荐

ComfyUI-XTTS 开源

在 ComfyUI 里拖拽节点,即可克隆声音并生成多语言语音。

a custom comfyui node for coqui-ai/TTS's xtts module! support 17 languages voice clo···

★ 71 2026-08-09
AstraTTS 开源

本地化低延迟流式TTS,支持自定义音色和中英混说

A high-performance, cross-platform TTS synthesis solution powered by ONNX Runtime, f···

★ 104 2026-08-09
pflowtts_pytorch 开源

用 flow matching 快速生成自然语音,复现 NVIDIA 论文效果

Unofficial implementation of NVIDIA P-Flow TTS paper

★ 228 2026-08-09
wtonec 开源

给微信/QQ加装语音增强和文字转语音,聊天更个性

Wtonec:微信 / QQ / 小红书 / 抖音文字转语音、语音包、语音播报、克隆音色、表情包。上百···

★ 76 2026-08-09
MangoByte 开源

在 Discord 里一键播放 Dota 英雄台词,还能 TTS 整活

A discord bot that provides the ability to play dota hero response clips, do tts, an···

★ 95 2026-08-09
dia 开源

一句话说出超逼真对话,情绪到位,不用反复重录

A TTS model capable of generating ultra-realistic dialogue in one pass.

★ 19407 2026-08-09
durian-pytorch 开源

用时长信息提升语音合成自然度,复现前沿论文

Implementation of "Duration Informed Attention Network for Multimodal Synthesis" pap···

★ 184 2026-08-09
StreamingKokoroJS 开源

浏览器里无限量本地语音合成,告别云端依赖

Unlimited text-to-speech in the Browser using Kokoro-JS, 100% local, 100% open sourc···

★ 372 2026-08-09
arguing-robots 开源

在终端里看两个机器人实时吵架,还能听声

Watch and hear macOS robots argue live in your terminal

★ 53 2026-08-09