Text2Video

输入文字，自动生成口型同步的说话人视频。

开源 🏷️定价信息待确认 🚫 站点已失效 视频生成 🍴 复刻 91 🐛 待处理 10 👀 关注 10 ⚠️ 作者已归档（停止维护）
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 438
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

Text2Video 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队michaelzhang-ai
官网地址https://sites.google.com/view/sibozhang/text2video
GitHubhttps://github.com/michaelzhang-ai/Text2Video
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🚫 站点已失效
是否开源是
主要语言Python
技术栈/模型aigc,avatar,deep-learning,digital-humanities,gan,generative-ai,icassp,metaverse,speech-synthesis,talking,talking-face-generation,talking-head,talking-heads,text-to-video,tts,vid2vid,video,virtual-humans
GitHub 星标★ 438
上线时间2021-04-05 00:00:00
代码更新2023-06-04
仓库体积213.9 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Text2Video 是一个基于 ICASSP 2022 论文的开源项目，实现文本驱动的说话人视频合成。它通过音素字典将输入文本转换为语音，并驱动人物头像生成与语音同步的说话视频。项目核心是结合语音合成、GAN 和面部动画技术，解决传统数字人视频制作成本高、口型同步难的问题。其技术栈涵盖生成式 AI、深度学习、语音合成等，适用于数字人、元宇宙、虚拟主播等场景。项目提供完整的训练和推理流程，支持自定义人物形象，但需要一定的深度学习基础才能部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 438

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 55 分钟 部署方式：本地GPU 4 步

环境要求

  • NVIDIA GPU
  • ffmpeg
  • 说话人视频素材

安装与启动步骤

  1. 1拉仓库

    论文代码，语音驱动口型合成。

    git clone https://github.com/sibozhang/Text2Video.git

  2. 2装零散依赖

    依赖没有统一清单，按报错逐个补。

    pip install zhon moviepy dominate pydub vosk cn2an pypinyin

  3. 3跑英文示例

    它给了现成的英文样例，先用它验证链路。

    sh text2video_audio.sh "She had your dark suit in greasy wash water all year." fadg0 f

  4. 4再跑中文示例

    中文要多一步分词与拼音转换。

    sh text2video_tts_chinese.sh "正在为您查询合肥的天气情况。" henan f

如何确认成功

输入一句中文能生成口型与语音大致同步的说话视频，音画不同步超过两百毫秒即视为失败

注意事项

  • 它用音素词典驱动口型，不是端到端生成，所以口型准确度有上限。
  • 依赖要靠报错一个个补，没有 requirements 是最大痛点。
  • 需要目标说话人的视频素材，换人要重新准备。
  • 论文代码，中文支持依赖额外的分词与拼音库。
  • 生成的人脸视频涉及肖像权，公开使用需授权。

核心亮点

  • 基于学术论文实现，方法有理论支撑，口型同步效果有保障
  • 支持自定义人物形象，可生成个性化数字人视频
  • 代码结构清晰，包含训练和推理脚本，便于二次开发

不足之处

  • 项目较早期，文档和社区支持待观察
  • 依赖较多，环境配置可能复杂

适用场景

  • 数字人客服视频生成
  • 虚拟主播/新闻播报
  • 教育课件中教师形象动画

替代项目

Wav2Lip、SadTalker、MakeItTalk

上一篇：Matrix-3D

下一篇：Director3D

同类项目推荐

MoDA 开源

一张照片加一段语音，生成口型同步的数字人视频

MoDA: Multi-modal Diffusion Architecture for Talking Head Generation

★ 276 2026-08-09
GaussianCube 开源

把3D高斯塞进立方体，让生成模型直接吃，又快又稳

[NeurIPS 2024] GaussianCube: A Structured and Explicit Radiance Representation for 3···

★ 427 2026-08-09
aora-bot 开源

AI 输出一个情绪 ID，小球立刻做出 32 种表情

Aora Bot：代码绘制的网页角色引擎，46 个原创角色、44 种动画状态，支持 React、Web Comp···

★ 633 2026-09-12
Talking-Avatar 开源

懒得录口播？一句话让数字人替你出镜。

Talking Avatar: create video from plain text or audio file in minutes, support up t···

★ 16 2026-08-09
mynah 开源

一张 GPU 自建实时数字人，语音驱动口型对话

Mynah — self-hosted realtime digital human. One GPU, full admin console, Apache-2.0···

★ 233 2026-10-26
XCube 开源

用稀疏体素层次结构，高效生成高分辨率 3D 模型

[CVPR 2024 Highlight] XCube: Large-Scale 3D Generative Modeling using Sparse Voxel H···

★ 547 2026-08-09
avatar-mix 开源

一键生成数字人短视频并自动发布到全网

Generate 16:9 & 9:16 videos with your HeyGen avatar, animated backgrounds (HyperFram···

★ 138 2026-08-09
Procedura 开源

一句话文本，生成可编辑、带关节的 3D 参数化模型

Agentic 3D Modeling with Procedural Control — turns a text prompt into an editable ···

★ 443 2026-08-31
SpatialGen 开源

给个布局，自动生成逼真3D室内场景

[3DV 2026] SpatialGen: Layout-guided 3D Indoor Scene Generation

★ 426 2026-08-09