Bert-VITS2-ext

让TTS角色开口说话时，表情和动作同步动起来

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 58 👀 关注 16
GitHub ↗
GitHub 星标 ★ 538
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，基于Bert-VITS2的测试工具，无在线服务，需自行部署，完全免费。

项目预览

Bert-VITS2-ext 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队see2023
GitHubhttps://github.com/see2023/Bert-VITS2-ext
定价模式🏷️完全免费
价格说明开源项目，基于Bert-VITS2的测试工具，无在线服务，需自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型arkit,audio2photoreal,bert-vits2,gpt-sovits,metahuman,motiongpt,text-to-motion,tts
GitHub 星标★ 538
上线时间2023-12-27 00:00:00
代码更新2025-08-06
仓库体积6.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

Bert-VITS2-ext 是一个基于 Bert-VITS2 的扩展项目，专注于为语音合成（TTS）添加表情和动画生成能力。它解决的是传统 TTS 仅输出音频、缺乏视觉表现力的问题，通过将语音与面部表情、身体动作同步，使虚拟角色或数字人能够更自然地说话。项目核心能力包括：利用 Bert-VITS2 进行高质量语音合成，结合 ARKit 和 audio2photoreal 等技术驱动面部表情，并支持 text-to-motion 生成肢体动作，从而输出完整的音视频内容。它集成了 GPT-SoVITS 和 MetaHuman 等工具链，为开发者提供了一套从文本到语音、表情、动作的完整测试框架，适合用于虚拟主播、游戏 NPC 或交互式数字人的原型验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 538

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 70 分钟 部署方式：本地GPU 5 步

环境要求

  • CUDA 显卡
  • 语音数据集
  • Python 3.10+

安装与启动步骤

  1. 1拉仓库装依赖

    它是在语音合成项目上做的扩展，依赖较重。

    git clone https://github.com/see2023/Bert-VITS2-ext.git

  2. 2先备语音数据

    按项目要求整理音频与文本标注。

  3. 3训带口型的模型

    加参数开启口型通道，这是它和原版的主要差别。

    python train_ms.py -m OUTPUT_MODEL --config ./configs/config.json --visemes

  4. 4录一段动作数据

    要驱动虚拟形象的话，先按说明采集面部数据。

    python ./motion/record.py

  5. 5导出驱动序列

    把音频转成引擎能吃的口型与表情序列。

    python ./motion/tts2ue.py --bs_npy_file ./tmp.npy --wav_file ./tmp.wav --delay_ms 700

如何确认成功

用一句新文本合成语音并导出配套口型序列，在引擎里播放时嘴型与发音基本对齐且没有明显延迟

注意事项

  • 它在语音合成基础上加了视觉口型通道，目标是让虚拟形象的口型跟着走。
  • 口型与音频的对齐要调延迟参数，不同引擎差别明显。
  • 训练数据质量直接决定口型准确度。
  • 扩展部分的文档偏少，多数细节要读脚本参数。

核心亮点

  • 整合了表情与动作生成，使TTS输出不再局限于音频，直接产出可视化内容
  • 基于成熟的Bert-VITS2和GPT-SoVITS，语音合成质量有保障
  • 支持ARKit和text-to-motion，技术栈前沿，易于扩展真实感数字人

不足之处

  • 项目处于早期，文档和示例可能不够完善
  • 依赖多种重型框架（如MetaHuman），部署和运行门槛较高

适用场景

  • 虚拟主播或数字人直播时的实时表情与口型同步
  • 游戏NPC对话时的动态表情和肢体动作生成
  • 快速原型验证TTS与动画结合的效果

替代项目

SadTalker、Wav2Lip、GeneFace

上一篇：VideoChat

下一篇：aafactory-prototype

同类项目推荐

Hunyuan3D-2-WinPortable 开源

Windows上双击即用的腾讯混元3D生成工具

Portable package for running Hunyuan3D 2.0/2.1 on Windows. | 混元 3D 2.0/2.1 整合包

★ 1374 2026-08-09
image-to-3dlab 开源

本地把图片文字变成带骨骼的游戏 3D 模型

AssetFurnace: the most complete open-source image-to-3D pipeline (Oct 2026). Prompt ···

★ 1139 2026-10-07
img2threejs 开源

看图片，自动生成可动画的 Three.js 模型代码

Rebuild the object in a reference image as a code-only, procedural, quality-gated, a···

★ 20955 2026-08-09
ACTalker 开源

一句话生成逼真数字人视频，音频表情随心控

ICCV 2025 ACTalker: an end-to-end video diffusion framework for talking head synthes···

★ 467 2026-08-09
AIAvatar 开源

造一个自己的数字分身，张嘴就能实时唠嗑。

AI Avatar: Build Your Personal Digital Avatar. AI数字人，实时交互数字人，可音视频同步···

★ 217 2026-08-09
LLMUnity 开源

在 Unity 里拖拽几下，就能让 NPC 开口聊大模型。

Create characters in Unity with LLMs!

★ 1735 2026-08-09
BlenderLLM 开源

说句话，自动生成 Blender 3D 模型脚本

BlenderLLM: A LLM specifically designed to generate CAD scripts based on user instru···

★ 321 2026-08-09
SUPRA-Tex 开源

一句话生成带对齐纹理和PBR材质的3D模型

SUPRA-Tex: 3D Generation with Super-Aligned Texture

★ 725 2026-10-27
kiln 开源

让编程代理用代码生成并迭代 3D 模型

Build and revise procedural 3D assets with your coding agent. Local MCP server, CLI ···

★ 320 2026-10-24