项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 569
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA 显卡
- 容器环境
- 模型权重
安装与启动步骤
-
1克隆
照片生成数字人并实时对话的完整工程。
git clone https://github.com/PunithVT/ai-avatar-system.git -
2起基础服务
数据库与依赖服务用容器起。
docker compose up -d -
3装后端依赖
Python 侧单独装。
pip install -r requirements.txt -
4起后端
先确认接口可用。
uvicorn main:app --reload --port 8000 -
5起前端
前端单独装并起。
npm install
如何确认成功
上传一张人像并用五秒语音克隆音色后,能进行实时对话且口型与语音大致对齐
注意事项
- 它把形象生成、语音克隆与对话串成一条链。
- 口型驱动对显卡有要求,低配会卡。
- 语音克隆要本人授权,别用他人素材。
- 全链路延迟是体验的关键,逐段量。
核心亮点
- 集成Claude、Whisper、Chatterbox与MuseTalk,实现从语音识别到唇形同步的完整数字人对话链路
- 支持上传照片克隆形象,结合实时语音克隆与唇形同步,交互自然度高
- 基于FastAPI和Next.js构建,前后端分离,便于二次开发与自托管部署
不足之处
- 项目处于早期阶段(355星),功能完整性和稳定性有待验证
- 依赖多个外部AI服务(Claude、Whisper等),部署配置复杂度较高
- 文档/社区待观察
适用场景
- 企业级虚拟客服或前台接待,提供拟人化交互体验
- 在线教育虚拟讲师,实现个性化教学与实时互动
- 社交媒体虚拟主播,低成本生成口型同步的短视频内容
替代项目
SadTalker、Wav2Lip、HeyGen
上一篇:ai-office
下一篇:ai-avatar-bot
同类项目推荐
Kiss3DGen
开源
用图像扩散模型直接生成3D资产,告别昂贵3D数据
[CVPR 2025] Official implementation of "Kiss3DGen: Repurposing Image Diffusion Model···
solidcraft
开源
纯 Rust 参数化 CAD,桌面网页都能建模,还能被 AI 自动驱动
SolidCraft: an open-source parametric 3D CAD application built in pure Rust. Desktop···
float
开源
上传音频和照片,一键生成口型同步的逼真说话视频。
[ICCV 2025] Official Pytorch Implementation of FLOAT: Generative Motion Latent Flow ···
DreamCraft3D
开源
上传一张图,秒变可交互的高质量 3D 模型
[ICLR 2024] Official implementation of DreamCraft3D: Hierarchical 3D Generation with···
fantasy-talking2
开源
上传音频和照片,生成唇形精准、表情自然的说话视频
[AAAI 2026] FantasyTalking2: Timestep-Layer Adaptive Preference Optimization for Aud···
IP_LAP
开源
上传一张照片和一段音频,生成身份保持的逼真说话视频
CVPR2023 talking face implementation for Identity-Preserving Talking Face Generation···
STAR
开源
输入文字,直接生成带骨骼动画的 4D 数字人,无需手动绑定
Official code for "STAR: Skeleton-aware Text-based 4D Avatar Generation with In-Netw···
GaussianCity
开源
一句话生成无边界3D城市,实时漫游
The official implementation of "GaussianCity: Generative Gaussian Splatting for Unbo···
desktop-waifu
开源
在桌面上养一个会聊天的 AI 老婆
Desktop Waifu!