NOVA

扔掉向量量化，自回归直接生成流畅视频

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 21 👀 关注 9
GitHub ↗
GitHub 星标 ★ 661
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，完全免费，需自行部署。

项目预览

NOVA 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队baaivision
GitHubhttps://github.com/baaivision/NOVA
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，完全免费，需自行部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型autoregressive-models,diffusion-models,image-generation,video-generation
GitHub 星标★ 661
上线时间2024-12-16 00:00:00
代码更新2025-10-29
仓库体积1.6 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

NOVA 是一个面向图像与视频生成的自回归模型开源项目，核心创新在于摒弃了传统自回归生成中必需的向量量化（VQ）步骤，直接对连续特征进行建模。该项目由论文《Autoregressive Video Generation without Vector Quantization》支撑，发表于 ICLR 2025，旨在解决现有自回归模型因量化带来的信息损失和训练复杂度问题。NOVA 将扩散模型与自回归框架结合，能够高效生成高质量、时序一致的视频内容，同时支持图像生成任务。其核心能力包括：连续空间的自回归建模、无需 VQ 的简化训练流程、以及统一的图像/视频生成架构。项目提供 Python 实现，并附带预训练模型与推理代码，适合研究者复现实验或开发者快速集成。目前项目处于早期阶段，代码结构清晰，但文档和社区支持尚在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 661

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 70 分钟 部署方式：本地安装 5 步

环境要求

  • 大显存 GPU
  • Python 3.10+
  • Hugging Face 访问

安装与启动步骤

  1. 1装基础包

    非量化的视频自回归生成模型。

    pip install diffusers transformers accelerate imageio-ffmpeg omegaconf wandb

  2. 2克隆并安装

    先克隆再本地安装。

    git clone https://github.com/baaivision/NOVA.git

  3. 3下权重

    权重在 Hugging Face，按需下文本生成图或视频的版本。

  4. 4跑图生图

    先跑文生图版本验证环境。

    python scripts/app_nova_t2i.py --model "BAAI/nova-d48w1024-sdxl1024" --device 0

  5. 5跑文生视频

    视频版本显存要求更高。

    python scripts/app_nova_t2v.py --model "BAAI/nova-d48w1024-osp480" --device 0

如何确认成功

能生成图像与短视频

注意事项

  • 两套权重对应不同任务，别混用。
  • 视频生成长度受显存限制明显。

核心亮点

  • 创新性地移除VQ模块，减少量化误差，提升生成质量
  • 统一支持图像与视频生成，架构简洁，易于扩展
  • 基于ICLR 2025论文，理论扎实，代码可复现性强

不足之处

  • 项目处于早期，文档和社区支持待观察
  • 依赖扩散模型，推理速度可能较慢

适用场景

  • 学术研究：复现无量化自回归生成方法，对比实验
  • 视频内容生成：快速生成短视频片段用于创意设计
  • 多模态模型开发：作为基础生成模块集成到更大系统

替代项目

VideoPoet、CogVideo、Open-Sora

上一篇：Pulse-of-Motion

下一篇：panacea

同类项目推荐

VEnhancer 开源

给AI生成的视频补细节、提帧率、升分辨率

Official codes of VEnhancer: Generative Space-Time Enhancement for Video Generation

★ 579 2026-08-09
VideoGraphAI 开源

输入主题，自动生成带配音字幕的 YouTube 短视频

AI-powered YouTube Shorts automation tool using LLMs, real-time search, and text-to-···

★ 74 2026-08-09
Looking-Ahead 开源

边生成边预判未来，让自回归视频更稳更真

Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation

★ 256 2026-10-26
cut-director 开源

输入口播脚本，自动导演数字人视频视觉，省心出片

CutDirector: a ChatCut skill for talking-head editing, with reusable motion graphics···

★ 183 2026-08-09
Pixelle-Video 开源

丢个创意进去，脚本画面剪辑全自动出片，省掉整个剪辑团队。

AI 全自动短视频引擎 | AI Fully Automated Short Video Engine

★ 29916 2026-08-09
Stable-Diffusion-Video2Video 开源

上传视频，一键风格化，自动逐帧转换输出新视频

Small script for AUTOMATIC1111/stable-diffusion-webui to run video through img2img.

★ 62 2026-08-09
ComfyUI_MiniMaxH3_Director 开源

在ComfyUI里分段导演，长视频一次编排成片

Multi-segment MiniMax H3 Director for official ComfyUI MiniMax-H3

★ 2740 2026-10-30