VideoChat

3秒低延迟，自定义形象音色，快速搭建你的实时数字人。

开源 🏷️定价信息待确认 🔧 仅开源项目，无在线服务，需自行部署音频音乐 🍴 复刻 175 🐛 待处理 25 👀 关注 14

GitHub ↗

GitHub 星标 ★ 1331

维护状态低维护

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类音频音乐

开发团队Henry-23

GitHubhttps://github.com/Henry-23/VideoChat

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型asr,dialogue-systems,digital-human,end-to-end,gradio-python-app,lip-sync,multimodal-large-language-models,musetalk,real-time,streaming,talking-head,tts

GitHub 星标★ 1331

上线时间2024-10-18 00:00:00

代码更新2025-12-18

仓库体积11.7 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

VideoChat 是一个基于 Python 的实时交互数字人开源项目，旨在解决传统数字人开发门槛高、交互延迟大的问题。它允许用户自定义数字人的形象和音色，并支持音色克隆功能，从而快速打造个性化的虚拟助手或直播主播。项目采用端到端技术栈，整合了 ASR（语音识别）、多模态大语言模型（对话生成）、唇形同步（Lip-Sync）和数字人渲染（如 MuseTalk）等模块，实现了从语音输入到数字人回复的完整闭环。其核心优势在于对话延迟低至 3 秒，提供了接近实时的交互体验。项目内置了 Gradio 界面，方便用户快速部署和测试，降低了使用门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1331

技术标签

asr digital-human end-to-end lip-sync multimodal-large-language-models

使用教程

难度：进阶约 30 分钟部署方式：本地安装 7 步

环境要求

操作系统：Ubuntu 22.04
Python 3.10（建议用 conda 创建独立环境）
CUDA 12.2
显存：级联方案约 8G，端到端 MLLM 方案约 20G
需安装 Git LFS 用于拉取权重文件

安装与启动步骤

1安装 Git LFS 并克隆

先装好 git lfs，再从 ModelScope 创空间仓库克隆项目，权重由 lfs 追踪会自动下载。
```
git lfs install
git clone https://www.modelscope.cn/studios/AI-ModelScope/video_chat.git
```
2创建 conda 环境

按 README 要求创建 python 3.10 的独立环境。
```
conda create -n metahuman python=3.10
```
3激活环境进入目录

激活刚创建的环境，并切换到项目根目录。
```
conda activate metahuman
cd video_chat
```
4安装项目依赖

安装 requirements.txt 中的依赖，版本仅供参考，最新依赖以各模块 Repo 说明为准。
```
pip install -r requirements.txt
```
5配置百炼 API-KEY

默认使用 API 方式的 LLM 和 TTS，在 app.py 第 14 行填入自己的 DASHSCOPE API-KEY。
```
os.environ["DASHSCOPE_API_KEY"] = "sk-xxxxxxxx"
```
6启动服务

运行主程序，启动内置 Gradio 界面进行实时语音交互测试。
```
python app.py
```
7可选：切换仅级联分支

若不需要端到端 MLLM（更省显存），切到 cascade_only 分支后再启动。
```
git checkout cascade_only
```

关键配置

配置项	必填	说明	示例
`DASHSCOPE_API_KEY`	是	阿里云百炼 API-KEY，用于默认的 Qwen 与 CosyVoice 接口调用	`sk-xxxxxxxx`

如何确认成功

运行 python app.py 后，终端会输出 Gradio 访问地址，浏览器打开该地址能进入对话页面即启动成功。

常见问题

Q：显存不够怎么办？

A：端到端 MLLM 方案约需 20G 显存，级联方案约 8G。显存有限可执行 git checkout cascade_only 切换到仅含级联方案的分支。

Q：必须手动下载模型权重吗？

A：不必。通过 README 给出的 ModelScope 创空间仓库 git clone 时，权重已由 git lfs 追踪并自动拉取，无需额外配置。

Q：不想购买 API-KEY 可以本地推理吗？

A：可以。LLM 用 src/llm.py 中的 Qwen 类本地推理，或用 vLLM 部署后以 Qwen_API(api_key="EMPTY",base_url="http://localhost:8000/v1") 调用；TTS 可删除 CosyVoice_API 相关内容，改用 Edge_TTS。

Q：想用 vLLM 加速 LLM 推理怎么装？

A：按 README 克隆 vllm 仓库后依次执行 python use_existing_torch.py、pip install -r requirements-build.txt、pip install -e . --no-build-isolation。