项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1788
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Conda(conda 命令可用)
- Python 3.7.0(README 指定版本)
- 支持 CUDA 11.1 的 NVIDIA GPU 环境(README 安装 cudatoolkit=11.1)
- 磁盘空间用于存放依赖与模型权重
安装与启动步骤
-
1创建 Conda 环境
按 README 指定版本创建名为 dreamtalk 的独立环境,Python 版本必须是 3.7.0,避免与其他项目依赖冲突。
conda create -n dreamtalk python=3.7.0 -
2激活环境
后续所有安装命令都要在 dreamtalk 环境中执行,若中途换终端需重新激活。
conda activate dreamtalk -
3安装基础依赖
在项目根目录执行,安装 requirements.txt 中列出的 Python 依赖包。需先克隆或下载项目源码。
pip install -r requirements.txt -
4安装 PyTorch 与 CUDA
通过 conda 安装 README 指定的 PyTorch 1.8.0、torchvision 0.9.0、torchaudio 0.8.0 及 cudatoolkit 11.1,注意要带 -c pytorch -c conda-forg
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge -
5更新 ffmpeg
README 要求用 conda 更新 ffmpeg,用于后续音视频文件的读取与处理。
conda update ffmpeg -
6安装指定版本库
分别固定安装 urllib3 1.26.6、transformers 4.28.1 和 dlib,版本不能随意升级,否则可能不兼容。
pip install urllib3==1.26.6 pip install transformers==4.28.1 pip install dlib -
7申请模型权重
官方已停止公开下载 checkpoint,需发邮件到 mayf18@mails.tsinghua.edu.cn 申请,发信即表示同意使用方法。
如何确认成功
README 未提供启动命令;确认 conda activate dreamtalk 可正常激活、各依赖安装无报错,且已获得官方 checkpoint 授权。
常见问题
Q:预训练模型在哪里下载?
A:官方因社会影响已停止公开下载。需发送邮件至 mayf18@mails.tsinghua.edu.cn 申请获取 checkpoint。发送邮件即表示你同意使用该方法。
Q:Python 版本可以用 3.8/3.9 吗?
A:README 安装命令明确指定 python=3.7.0,建议严格按此版本创建环境,避免依赖冲突。
Q:为什么用 conda 装 PyTorch 而不是 pip?
A:README 给出的命令是 conda install pytorch==1.8.0 ... cudatoolkit=11.1 -c pytorch -c conda-forge,按原文执行可保证 CUDA 版本匹配。
Q:需要 GPU 吗?
A:安装命令中包含 cudatoolkit=11.1,说明官方环境面向 NVIDIA GPU,纯 CPU 环境未在 README 中说明。
注意事项
- checkpoint 已停止公开下载,必须邮件申请,且发信即视为同意官方使用方法。
- README 节选中未给出推理/运行命令,安装完成后如何生成视频请以官方仓库后续文档为准。
- PyTorch、transformers、urllib3 均锁定了版本号,不要自行升级。
- 安装 dlib 可能耗时较长,请保持网络与编译环境稳定。
核心亮点
- 基于扩散模型,生成的人脸动态和表情比传统GAN方法更自然逼真
- 官方实现,代码结构清晰,包含训练和推理流程,便于复现和二次开发
- 支持多种音频和图像输入,灵活性强,社区活跃度较高
不足之处
- 推理速度较慢,实时性不足,对硬件要求较高
- 文档和社区支持相对有限,新手上手有一定门槛
适用场景
- 数字人视频制作,如新闻播报、在线教育
- 虚拟助手和客服的实时交互头像
- 影视后期和游戏角色的面部动画生成
替代项目
SadTalker、Wav2Lip、MakeItTalk
同类项目推荐
VideoScene
开源
输入图像,一步生成 3D 场景,告别多步优化
[CVPR 2025 Highlight] VideoScene: Distilling Video Diffusion Model to Generate 3D Sc···
DreamScene
开源
输入一句话,自动生成多物体 3D 场景,布局合理不打架
[ECCV2024] DreamScene: 3D Gaussian-based Text-to-3D Scene Generation via Formation P···
几分钟生成一个主播,24 小时替你出镜带货。
AI Avatar/Anchor: create video from plain text or audio file in minutes, support up ···
Speech2Video
开源
输入一段语音,自动生成带3D姿态的说话人视频
ACCV 2020 "Speech2Video Synthesis with 3D Skeleton Regularization and Expressive Bod···
MeshAnythingV2
开源
把任意3D模型变成艺术家级干净网格,面少质高
[ICCV 2025] From anything to mesh like human artists. Official impl. of "MeshAnythin···
Gamba
开源
单张图片,秒级生成3D模型,高效重建新范式
Implementation of PyTorch: "GAMBA: MARRY GAUSSIAN SPLATTING WITH MAMBA FOR SINGLE-VI···
dsh-voice-ai-girlfriend
开源
给 DeepSeek 装上会说话、能打断的语音女友
语音 AI 女友(Voice AI girlfriend for DeepSeek Harness):Whisper 语音输入 + Qwen3-T···
kiln
开源
让编程代理用代码生成并迭代 3D 模型
Build and revise procedural 3D assets with your coding agent. Local MCP server, CLI ···
InterAct
开源
一句话生成3D人机交互动作,数据规模大、交互丰富
[CVPR 2025] InterAct: Advancing Large-Scale Versatile 3D Human-Object Interaction Ge···
