HunyuanWorld-Voyager

上传视频,实时生成可交互 3D 场景

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数字人3D 🍴 复刻 167 🐛 待处理 30 👀 关注 25
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1604
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,可自行部署使用,无收费信息。

项目预览

HunyuanWorld-Voyager 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数字人3D
开发团队Tencent-Hunyuan
定价模式🏷️完全免费
价格说明开源项目,可自行部署使用,无收费信息。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型3d,3d-generation,aigc,hunyuan3d,image-to-3d,image-to-video,scene-generation,world-model,world-models
GitHub 星标★ 1604
上线时间2025-08-27 00:00:00
代码更新2026-04-15
仓库体积830.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

HunyuanWorld-Voyager 是一个基于 RGBD 视频生成的交互式 3D 重建模型,由腾讯混元团队开源。它解决了从普通视频中实时重建 3D 场景的难题,用户只需输入相机位姿和 RGBD 视频流,即可在交互过程中动态生成并更新 3D 几何结构。核心能力包括:支持实时 3D 重建、可基于相机输入控制生成视角、能处理动态场景变化。技术上采用深度学习和神经渲染,在保证重建质量的同时实现高帧率交互。该项目为数字人、AR/VR、机器人导航等领域提供了高效的 3D 内容生成方案,降低了 3D 建模门槛,使非专业用户也能快速创建可交互的 3D 环境。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1604

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 6 步

环境要求

  • Linux 系统(README 仅提供 Linux 安装指南)
  • 支持 CUDA 11.8 或 12.4 的 NVIDIA GPU 环境
  • 已配置 conda 虚拟环境
  • 已安装 Python 与 pip
  • flash-attn 编译要求 CUDA 11.8 及以上

安装与启动步骤

  1. 1克隆仓库

    把项目代码下载到本地并进入项目目录,后续所有安装命令都在该目录下执行。

    git clone https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
    cd HunyuanWorld-Voyager
  2. 2安装 pip 依赖

    在 conda 环境中安装 requirements.txt 列出的依赖,并把 transformers 固定到 4.39.3 版本。

    python -m pip install -r requirements.txt
    python -m pip install transformers==4.39.3
  3. 3安装 flash-attn

    安装 flash attention v2 用于推理加速,需要 CUDA 11.8 及以上,编译耗时较长请耐心等待。

    python -m pip install flash-attn
  4. 4安装 xDiT

    安装 xfuser 以支持并行推理,README 建议搭配 torch 2.4.0 与 flash-attn 2.6.3。

    python -m pip install xfuser==0.4.2
  5. 5修复 core dump

    仅在特定 GPU 出现浮点异常(core dump)时执行:安装指定 cuBLAS 并设置动态库路径。

    pip install nvidia-cublas-cu12==12.4.5.8
    export LD_LIBRARY_PATH=/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/
  6. 6安装条件生成依赖

    只有需要自定义输入条件时才安装,含 MoGe、scipy 与指定 commit 的 utils3d。

    pip install --no-deps git+https://github.com/microsoft/MoGe.git
    pip install scipy==1.11.4
    pip install git+https://github.com/EasternJournalist/utils3d.git@c5daf6f6c244d251f252102d09e9b7bcef791a38

关键配置

配置项必填说明示例
LD_LIBRARY_PATH否指定 cuBLAS 动态库路径,规避特定 GPU 上的 core dump 问题。/opt/conda/lib/python3.8/site-packages/nvidia/cublas/lib/

如何确认成功

README 未给出推理运行命令;可用 python -c "import torch, xfuser" 检查关键依赖是否安装成功且无报错。

常见问题

Q:安装 flash-attn 失败怎么办?

A:README 要求 CUDA 11.8 或以上,并推荐手动安装时使用 CUDA 12.4 或 11.8;请确认 CUDA 版本与编译环境匹配后再重试。

Q:运行时出现 float point exception(core dump)怎么办?

A:这是特定 GPU 类型上的已知问题。README 建议确保 CUDA 12.4、CUBLAS>=12.4.5.8、CUDNN>=9.00,或使用官方 CUDA 12 镜像,也可安装 nvidia-cublas-cu12==12.4.5.8 并设置 LD_LIBRARY_PATH。

Q:如何自定义输入条件(相机轨迹等)?

A:需要额外安装 MoGe(--no-deps)、scipy==1.11.4 和指定 commit 的 utils3d,README 的安装章节给出了对应命令。

Q:Windows 或 macOS 可以安装吗?

A:README 只提供了 Linux 安装指南,未提及其他系统的安装方式,非 Linux 环境请自行评估。

注意事项

  • README 只包含依赖与安装说明,未提供模型权重下载和推理运行命令,实际使用需参考项目主页与 HuggingFace 页面。
  • LD_LIBRARY_PATH 示例中的 python3.8 路径来自 README,请按自己环境的实际 Python 版本和 conda 路径调整。
  • README 建议 torch 2.4.0 搭配 flash-attn 2.6.3、xfuser 0.4.2,版本不一致可能出现兼容问题。
  • 克隆仓库后务必先 cd 进入 HunyuanWorld-Voyager 目录再执行后续安装命令。

核心亮点

  • 支持实时 RGBD 视频流输入,重建延迟低,适合交互场景
  • 相机位姿可控,生成视角灵活,便于多角度观察
  • 基于腾讯混元团队,模型质量有保障,开源社区活跃

不足之处

  • 依赖 RGBD 数据,普通 RGB 视频需额外深度估计,适用性受限
  • 文档/社区待观察,教程和示例尚不丰富

适用场景

  • 数字人实时 3D 建模与驱动
  • AR/VR 场景动态重建与交互
  • 机器人视觉导航与环境感知

替代项目

DUSt3R、Nerfstudio、3D Gaussian Splatting

同类项目推荐

Diff4Splat 开源

从单图生成可控动态 3D 场景,时空一致。

[CVPR 2026] Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconst···

★ 130 2026-08-09
anything2explainer 开源

给个主题,自动生成带配音字幕的讲解视频

Topic in, narrated explainer video out. A Claude Code / Codex skill that turns any t···

★ 3116 2026-09-11
TokenFlow 开源

用文本编辑视频,帧帧连贯不闪烁

Official Pytorch Implementation for "TokenFlow: Consistent Diffusion Features for Co···

★ 1708 2026-08-09
SCAIL-Pose 开源

从视频提取3D姿态,生成稳定连贯的角色动画

Pose Extraction & Rendering for SCAIL: Towards Studio-Grade Character Animation via ···

★ 231 2026-08-09
PISCO 开源

稀疏控制,精准插入视频实例,让编辑更自然

[NeurIPS 2026] PISCO: Precise Video Instance Insertion with Sparse Control

★ 63 2026-08-09
video-podcast-maker 开源

输入主题,自动生成带字幕的 4K 讲解视频

Topic → 4K narrated video for coding agents. v5.3.0: local TTS (edge free + azure, ···

★ 1717 2026-08-09
LTX-Video 开源

一句话或一张图,高清视频马上来

Official repository for LTX-Video

★ 11339 2026-08-09
InteractiveVideo 开源

用多模态指令随心操控视频生成,让创意精准落地

InteractiveVideo: User-Centric Controllable Video Generation with Synergistic Multim···

★ 133 2026-08-09
oneclick-subtitles-generator 开源

上传视频,自动转写翻译并渲染出带字幕成片

Auto-subtitle videos with AI transcription, translation, voice cloning, professional···

★ 239 2026-10-19