PixelUMM

去掉视觉编码器,一套模型同时看懂和生成图像视频

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 12 🐛 待处理 3 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 422
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源模型权重,免费使用

项目预览

PixelUMM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队nv-tlabs
定价模式🏷️完全免费
价格说明开源模型权重,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 422
上线时间2026-09-04 00:00:00
代码更新2026-10-02
仓库体积56.1 MB
本站数据更新2026-11-21
维护状态维护中
收录时间2026-10-06
浏览次数5

项目介绍

PixelUMM 是一个无编码器(Encoder-Free)的统一多模态模型,同时处理图像与视频的理解和生成任务。传统方案通常依赖独立的视觉编码器(如 CLIP、SigLIP)把图像转成特征,再交给大语言模型或扩散模型处理,导致理解与生成两条链路割裂、参数量大、部署复杂。PixelUMM 的核心思路是去掉独立视觉编码器,让模型直接在像素层面统一建模,用一套架构完成看图、看视频、生成图像和生成视频。这样既减少了模块间的对齐成本,也让理解和生成共享同一套表示,理论上更利于跨任务迁移。项目用 Python 实现,属于早期研究型开源模型,星标约 151,适合关注统一多模态架构、想复现或二次开发的研究者。它解决的是多模态系统中编码器冗余、理解与生成难以统一的问题,核心能力包括统一图像视频理解、统一图像视频生成、无编码器像素级建模。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 422

使用教程

难度:高级 约 60 分钟 部署方式:本地部署 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 大显存 NVIDIA GPU
  • Python 3.10+
  • 已下载的模型权重

安装与启动步骤

  1. 1读模型设定

    单解码器同时做理解与生成,没有 VAE 也没有视觉编码器。

  2. 2验权重完整性

    先用 CPU 跑检查脚本,确认 checkpoint 没缺片。

    CUDA_VISIBLE_DEVICES="" python check_checkpoint.py
  3. 3跑推理

    按示例改参数,注意图像是 16×16 切块、视频是 4 帧一组。

    python inference.py
  4. 4换成自己的输入

    分辨率与帧数要符合它的切块约束,否则直接报错。

  5. 5评估输出

    像素空间生成对细节敏感,别用单张图判断能力。

如何确认成功

check_checkpoint 通过,且 inference.py 能对自己的输入产出可辨认的图像或视频

注意事项

  • 研究代码,README 以方法说明为主,安装细节要读脚本。
  • 显存需求高,消费级卡只能跑很小分辨率。
  • 没有 VAE 意味着直接在像素上算,细节好但对算力更敏感。

核心亮点

  • 去掉独立视觉编码器,理解与生成共用一套像素级表示,架构更统一
  • 同时覆盖图像和视频的理解与生成四类任务,不是只做单一方向
  • Python 实现,便于研究者在统一多模态方向上复现和二次开发

不足之处

  • 早期项目,星标约 151,社区规模和生态尚小
  • 无编码器路线在视频长序列上的计算与效果仍需更多验证

适用场景

  • 研究统一多模态架构,对比有编码器方案的效果差异
  • 需要同一模型同时做图像/视频理解与生成的实验场景
  • 作为无编码器多模态方向的复现与二次开发基线

替代项目

Chameleon、Emu3、Show-o

上一篇:Spark-X2.5

下一篇:HongLabLLM

同类项目推荐

Code-Package-p5.js 开源

跟着书抄代码不如直接跑,生成艺术案例库随开随用

Code package of the book: Generative Design – Creative Coding for the Web with Java···

★ 1022 2026-08-09
BayLing 开源

基于LLaMA的中英双语模型,性能接近ChatGPT九成

“百聆”是一个基于LLaMA的语言对齐增强的英语/中文大语言模型,具有优越的英语/中文能力,···

★ 318 2026-08-09
docker-stable-diffusion-taiyi 开源

一键启动中文AI绘画,Docker跑太乙模型

带 Web UI 的 Docker taiyi (太乙),中文 Stable Diffusion WebUI 一键运行环境。

★ 89 2026-08-09
Awesome-LLM-Survey 开源

一网打尽LLM综述资源,快速入门不迷路

An Awesome Collection for LLM Survey

★ 446 2026-08-09
UForm 开源

小体积多模态模型,图文视频理解快数倍

Distributed training & inference for multimodal perception: shared embeddings across···

★ 1253 2026-11-06
StartLux-Decision 开源

给每个选项打分,让 AI 决策可量化

Open decision models from 0.8B to 27B: a calibrated probability for every option in ···

★ 1778 2026-10-07