LiveTalking

让数字人边听边说，口型跟得上，直播聊天不冷场

LiveTalking 是一个面向实时交互场景的开源数字人项目，主打流式生成和低延迟对话。它通过音频驱动口型同步，结合 NeRF 三维重建与渲染技术，让虚拟形象在说话时嘴唇动作自然贴合语音，并支持边接收音频边生成视频，实现接近实时的对话反馈。项目集成了 Wav2Lip、MuseTalk、ER-NeRF 等多种主流口型同步和数字人渲染方案，开发者可以根据实际场景灵活选用。它解决的核心问题是传统数字人生成延迟高、交互感差、难以用于直播或实时客服等场景的痛点。LiveTalking 用 Python 实现，技术栈集中在 AIGC 数字人领域，适合用于虚拟主播、在线教育、智能客服等需要即时响应和自然口型表现的产品原型或轻量级部署。

开源 unknown 数字人3D

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 9600

维护状态较活跃

是否开源是

定价模式 unknown

项目数据

分类数字人3D

开发团队lipku

所属国家

官网地址https://www.livetalking.ai

GitHubhttps://github.com/lipku/LiveTalking

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型aigc,digihuman,digital-human,er-nerf,lip-sync,metahuman-stream,musetalk,nerf,realtime,streaming,talking-head,virtualhumans,wav2lip

GitHub 星标★ 9600

30天Star增速

HF 下载量

上线时间2023-12-19 00:00:00

最近更新2026-09-22 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数8

使用教程

难度：进阶约 30 分钟部署方式：本地安装 6 步

环境要求

Ubuntu 22.04（README 已测试环境，Windows/macOS 亦在支持列表中）
Python 3.12（官网标注 Python 3.10+）
CUDA 12.8 + PyTorch 2.9.1（CUDA 版本不同需自行替换对应 PyTorch 版本）
已安装 conda 与 git
显卡环境，且可开放服务端口 TCP:8010 与 UDP:1-65536

安装与启动步骤

1克隆项目代码

从 GitHub 拉取 LiveTalking 仓库到本地，Gitee/GitCode 也可作为国内镜像替代。
```
git clone https://github.com/lipku/LiveTalking.git
```
2创建 conda 环境

新建并激活名为 livetalking 的 Python 3.12 独立环境，避免与其他项目依赖冲突。
```
conda create -n livetalking python=3.12
conda activate livetalking
```
3安装 PyTorch

按 README 指定版本安装 torch 2.9.1/torchvision 0.24.1/torchaudio 2.9.1（cu128）。先用 nvidia-smi 确认 CUDA 版本。
```
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128
```
4安装项目依赖

进入项目目录后安装 requirements.txt 中的全部依赖。安装报错可查官方 FAQ 文档。
```
cd LiveTalking
pip install -r requirements.txt
```
5启动数字人服务

以 WebRTC 传输、wav2lip 模型和默认形象启动服务，需提前开放 TCP:8010 与 UDP:1-65536。
```
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1
```
6查看使用文档

README 指向官方文档站点，前端 API 对接与更多用法请查阅该文档。

关键配置

配置项	必填	说明	示例
`--transport`	是	音视频输出传输方式，README 示例使用 webrtc，另支持 RTMP 等输出	`webrtc`
`--model`	是	选择数字人模型，可选 ernerf、musetalk、wav2lip、Ultralight-Digital-Human	`wav2lip`
`--avatar_id`	是	指定使用的数字人形象标识	`wav2lip256_avatar1`
`TCP:8010`	是	服务端需开放的 TCP 端口	`8010`
`UDP:1-65536`	是	服务端需开放的 UDP 端口范围，WebRTC 通信依赖	`1-65536`

如何确认成功

启动后服务在 TCP:8010 监听、UDP 1-65536 可用，无依赖或模型加载报错即视为成功。

常见问题

Q：CUDA 版本不是 12.8 怎么办？

A：先运行 nvidia-smi 确认本机 CUDA 版本，再到 PyTorch 官网 previous-versions 页面安装与该版本匹配的 torch/torchvision/torchaudio，不要照抄 cu128 命令。

Q：pip 安装依赖报错怎么排查？

A：README 指向安装常见问题 FAQ：https://doc.livetalking.ai/docs/faq/ ，可先在该页面检索对应报错。

Q：不想本地配环境有别的办法吗？

A：README 提供了 Docker 镜像：AutoDL（codewithgpu 平台的 livetalking/base）与 UCloud 平台镜像，后者支持开放任意端口。

Q：只能做 wav2lip 吗？

A：不是。--model 支持 ernerf、musetalk、wav2lip、Ultralight-Digital-Human 四种方案，可按延迟和画质需求替换。

Q：完整的接口和参数说明在哪？

A：README 的使用说明指向官方文档 https://doc.livetalking.ai ，其中包含 /human、/record 等接口用法。

注意事项

README 明确测试环境为 Ubuntu 22.04 + Python 3.12 + PyTorch 2.9.1 + CUDA 12.8，其他组合可能需自行调试。
服务端必须开放 TCP:8010 与 UDP:1-65536，否则 WebRTC 连接会失败。
README 未给出具体的 docker run 命令，Docker 方式请按 AutoDL/UCloud 镜像页面说明操作。
数字人形象支持自定义，avatar_id 需与本地已有形象目录对应，不要随意填写未下载的形象名。

核心亮点

基于流式架构，支持边输入音频边生成视频，对话延迟低，适合实时交互
集成 Wav2Lip、MuseTalk、ER-NeRF 等多种方案，开发者可按需切换口型与渲染策略
采用 NeRF 3D 建模，相比纯 2D 捏脸，人物立体感和头部姿态表现更自然

不足之处

NeRF 渲染对 GPU 算力和显存要求较高，低成本部署有门槛
项目文档完善度与社区生态规模待观察，二次开发可能需要更多自行摸索

适用场景

直播带货虚拟主播，实时回答观众问题并生成口型同步画面
银行或政务大厅的 AI 虚拟客服，提供低延迟的语音交互服务
在线教育虚拟老师，根据课程内容实时讲解并配合自然唇形

替代项目

SadTalker、Wav2Lip

项目介绍

LiveTalking 是数字人3D领域的开源项目，由 lipku 开发，2023 年首次发布。

在全站 13,109 个收录项目中，它的 GitHub 星标数（9,600）位列前 6%，在数字人3D分类的 272 个项目里位列前 3%。

近 41 天，它的 GitHub 星标从 8,745 增加到 9,600，净增 855。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。从国内网络环境看，可直接访问。

它主要面向的使用场景是：直播带货虚拟主播，实时回答观众问题并生成口型同步画面。同类可对比的替代方案包括 SadTalker、Wav2Lip。

上一篇：claude-face

下一篇：Duix-Mobile