VibeVoiceFusion

一键微调多说话人语音，低显存批量合成

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 62 🐛 待处理 8 👀 关注 4
GitHub ↗
GitHub 星标 ★ 496
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，本地部署，完全免费，无付费版本。

项目预览

VibeVoiceFusion 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队zhao-kun
GitHubhttps://github.com/zhao-kun/VibeVoiceFusion
定价模式🏷️完全免费
价格说明开源项目，本地部署，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型aigc,autoregressive-models,fine-tuning,language-model,lora,speech-synthesis,tts,tts-engines,ttsuite,vibevoice,vramsaving,web
GitHub 星标★ 496
上线时间2025-09-26 00:00:00
代码更新2026-10-05
仓库体积26.1 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数8

项目介绍

VibeVoiceFusion 是一个基于微软 VibeVoice（自回归+扩散架构）的全栈多说话人语音合成 Web 系统。它主要解决自建 TTS 系统时面临的多说话人支持、模型微调门槛高、显存占用大和批量生成效率低等问题。核心能力包括：支持 LoRA 微调，用户可以用少量数据快速适配新音色；提供批量生成接口，适合大规模语音合成任务；针对 VRAM 做了优化，降低了对硬件的要求。系统采用前后端分离架构，基于 Python 开发，技术栈涵盖 AIGC、自回归模型、语言模型、语音合成等，适合研究或生产环境部署。项目处于早期阶段，但功能设计完整，对希望深度定制 TTS 的开发者有较大吸引力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 496

使用教程

难度：高级 约 70 分钟 部署方式：本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.10+
  • Node.js
  • 模型权重

安装与启动步骤

  1. 1拉仓库

    它把前后端与推理串在一起。

    git clone https://github.com/zhao-kun/vibevoicefusion.git

  2. 2或以容器构建

    不想配环境就走容器。

    docker compose build vibevoice

  3. 3装前端依赖

    界面单独构建。

    npm install

  4. 4起后端

    后端负责推理调度。

    python backend/run.py

  5. 5起前端

    另开终端。

    npm run dev

如何确认成功

在界面里给一段参考音色与一段文本，生成的多说话人语音能保持各自音色且可区分

注意事项

  • 它把多说话人语音生成与声音克隆做成网页应用，还带识别功能。
  • 前后端分离，两个终端都要开。
  • 音色保持与说话人区分度是验收重点。
  • 克隆他人声音涉及人格权，使用前确认授权。

核心亮点

  • 集成 LoRA 微调，少量数据即可定制新音色，降低训练门槛
  • 显存优化设计，普通消费级显卡也能跑多说话人合成
  • 全栈 Web 系统，自带界面和 API，开箱即用

不足之处

  • 早期项目，文档和社区支持待观察
  • 依赖微软 VibeVoice 基础模型，生态独立性有限

适用场景

  • 为有声书或播客批量生成多角色语音
  • 游戏或影视配音中快速克隆特定音色
  • 企业级语音助手需要个性化发音人

替代项目

Coqui TTS、Bark、XTTS v2

上一篇：audiblez

下一篇：epub2tts

同类项目推荐

xtts-webui 开源

可视化操作XTTS，零代码实现语音合成与微调

Webui for using XTTS and for finetuning it

★ 900 2026-08-09
edge-tts-extension 开源

免费高质量网页朗读，无需API Key，一键生成语音

Chrome extension to generate free, high-quality text-to-speech using Microsoft Edge'···

★ 85 2026-08-09
Auralis 开源

快速将文本转语音，低延迟集成到你的应用

A Fast TTS Engine

★ 623 2026-08-09
reader 开源

手机拍报纸，秒变电子版，随时读报不费力

毕业设计-基于智能手机的报纸阅读器

★ 62 2026-08-09
f5-tts-mlx 开源

在 Mac 上本地跑 F5-TTS，零样本克隆语音

Implementation of F5-TTS in MLX

★ 650 2026-08-09
apple_airplayer 开源

把 AirPlay 音箱变成会说话的 TTS 喇叭

Make your AirPlay devices as TTS speakers

★ 137 2026-08-09
local11labs 开源

本地一键生成高质量语音和播客，快且私密

Local11Labs allows generating high-quality text-to-speech and podcast content using ···

★ 53 2026-08-09
CosyVoice 开源

输入文字就能生成多语种配音，一天的工作十分钟搞定

Multi-lingual large voice generation model, providing inference, training and deploy···

★ 24342 2026-08-09