VibeVoice

开源语音AI,一句话生成多人自然对话音频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 6175 🐛 待处理 201 👀 关注 268
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 54979
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

VibeVoice 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队microsoft
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 54979
上线时间2025-08-25 00:00:00
代码更新2026-10-08
仓库体积211.5 MB
本站数据更新2026-10-27
维护状态较活跃
收录时间2026-10-27
浏览次数0

项目介绍

VibeVoice 是微软开源的前沿语音 AI 项目,用 Python 实现,聚焦高质量语音合成与多说话人对话生成。它要解决的问题是:传统 TTS 往往只能生成单人或短句音频,长对话场景下说话人切换生硬、语气不连贯。VibeVoice 通过统一的语音建模思路,支持多角色、长时长的自然对话音频生成,并保留说话人音色与情绪的一致性。核心能力包括多说话人语音合成、对话式音频生成、较长的上下文连贯性,以及可扩展的推理接口,方便开发者接入自己的应用或做二次微调。项目提供模型权重与推理示例,适合播客、有声内容、虚拟角色配音等场景的快速验证。作为高星开源项目,它在语音生成社区关注度很高,是研究对话式语音 AI 的重要参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-27 · 当前星标 ★ 54979

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 30 分钟 部署方式:模型权重 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(README 节选未给出具体版本,请以仓库说明为准)
  • 可访问 GitHub 与模型权重托管页面(Hugging Face、Azure AI Foundry Labs)
  • 足够的本地磁盘空间存放模型权重
  • 若进行语音合成推理,建议准备 GPU 环境

安装与启动步骤

  1. 1获取项目代码

    从项目主页的 GitHub 地址克隆仓库。README 节选未提供安装命令,克隆地址取自项目信息中的仓库链接。

    git clone https://github.com/microsoft/VibeVoice.git
  2. 2准备 Python 环境

    进入仓库目录后创建独立虚拟环境,避免与系统 Python 包冲突;具体 Python 版本要求以仓库说明为准。

  3. 3安装仓库依赖

    按仓库内依赖清单文件安装,README 节选未列出具体依赖包名,请勿凭猜测安装第三方包。

  4. 4获取模型权重

    权重发布在 Hugging Face 的 microsoft 组织页面与 Azure AI Foundry Labs,请按对应页面说明下载并遵守使用条款。

  5. 5运行推理示例

    使用仓库中提供的推理示例脚本生成语音。README 节选未给出脚本名与参数,需查阅仓库主文档。

如何确认成功

推理示例运行结束无报错,并在输出目录得到可播放的音频文件,即表示环境可用。

常见问题

Q:README 里找不到安装步骤怎么办?

A:本页内容来自 README 节选,只包含版本新闻。请以仓库主 README 和 docs 目录中的说明为准,按其中给出的依赖清单安装。

Q:必须使用 GPU 吗?

A:语音合成推理通常建议使用 GPU。README 提到的 CPU 实时推理属于单独的 ASR 边缘推理项目,与本仓库的合成推理不是同一套流程。

Q:模型权重从哪里下载?

A:按 README 给出的链接,到 Hugging Face 上 microsoft 组织下的模型页面或 Azure AI Foundry Labs 获取,下载前先确认许可证。

Q:可以直接用于商用吗?

A:需自行查看仓库许可证与模型权重页面上的使用条款,确认授权范围后再决定是否商用。

注意事项

  • README 节选只有新闻条目,没有安装与推理命令,本教程步骤为通用准备动作,具体命令务必以仓库主文档为准。
  • 模型权重体积较大,下载与存放前先预留磁盘空间。
  • README 中提到多个子项目(如流式 ASR、CPU 推理引擎),它们有各自独立仓库,不要混用安装步骤。

核心亮点

  • 支持多说话人长对话生成,说话人音色与语气保持一致
  • 微软出品,模型权重与推理代码开源,可直接本地部署验证
  • 社区关注度高,星标近 5.5 万,生态与示例迭代活跃

不足之处

  • 长音频生成对显存和算力要求较高,普通设备推理成本大
  • 中文等非英语语种的音色与自然度表现仍需实测验证

适用场景

  • 播客与有声书的多角色对话音频批量生成
  • 虚拟角色、游戏 NPC 的配音快速原型制作
  • 语音交互产品的对话数据合成与模型评测

替代项目

Coqui TTS、ChatTTS、F5-TTS

上一篇:ViSAudio

下一篇:voicevox

同类项目推荐

video-bgm-generation 开源

根据视频内容自动生成匹配的背景音乐,省时又专业

[ACM MM 2021 Best Paper Award] Video Background Music Generation with Controllable M···

★ 328 2026-08-09
korean-voice-acting-engine 开源

本地跑通韩语配音训练、转换与审查全流程

Local-first Korean voice acting engine for Codex-assisted training, voice conversion···

★ 68 2026-08-09
MangoByte 开源

在 Discord 里一键播放 Dota 英雄台词,还能 TTS 整活

A discord bot that provides the ability to play dota hero response clips, do tts, an···

★ 96 2026-08-09
BeatDrop 开源

把音乐变成动态视觉,实时跟随节奏跳动

BeatDrop Music Visualizer

★ 97 2026-08-09
lobe-tts 开源

一行代码接入多平台语音合成与识别,服务端浏览器通吃。

Lobe TTS - A high-quality & reliable TTS/STT library for Server and Browser

★ 809 2026-08-09
lyrictor 开源

把歌曲变成可分享的 AI 视觉作品,无需设计基础

Desktop and browser-based creative tool for turning personal interpretations of song···

★ 58 2026-08-09
nonparaSeq2seqVC_code 开源

无需平行语料,实现任意说话人语音转换

Implementation code of non-parallel sequence-to-sequence VC

★ 248 2026-08-09
editts 开源

用扩散模型精准编辑语音,改音高语速不动原声

Official implementation of EdiTTS: Score-based Editing for Controllable Text-to-Spee···

★ 122 2026-08-09
qwen3-tts 开源

纯 C 跑 Qwen3-TTS,无 Python 依赖,轻量高效部署

Pure C inference engine for Qwen3-TTS text-to-speech. No Python, no PyTorch — just ···

★ 124 2026-08-09