OmniTokenizer

一个模型搞定图像视频分词,统一 token 化,加速多模态生成

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 10 🐛 待处理 9 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 333
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

OmniTokenizer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队FoundationVision
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型auto-regressive-model,image-generation,tokenization,vae,video-generation,vqvae
GitHub 星标★ 333
上线时间2024-06-13 00:00:00
代码更新2024-07-09
仓库体积70.5 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

OmniTokenizer 是一个用于图像和视频联合分词(tokenization)的统一模型,来自 NeurIPS 2024。它解决了图像和视频生成中分词器不统一的问题,传统方法需要为图像和视频分别训练不同的 VAE/VQVAE 模型,而 OmniTokenizer 通过单一模型和单一权重同时处理图像与视频,将视觉数据转换为离散 token,供自回归模型使用。其核心能力包括:支持图像和视频的联合编码与解码,在多个基准上达到 SOTA 性能,并具备良好的扩展性。该模型基于 VQVAE 架构,通过时空建模统一处理静态和动态视觉内容,为多模态生成任务提供了基础组件。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 333

核心亮点

  • 统一图像与视频分词,减少模型部署和训练成本
  • 在图像和视频重建任务上均达到 SOTA 性能
  • 支持自回归生成,可直接用于多模态大模型

不足之处

  • 文档和社区支持尚待完善,项目处于早期阶段
  • 对长视频处理可能受限于 token 长度和计算资源

适用场景

  • 图像与视频联合生成模型的基础组件
  • 多模态自回归模型的 tokenizer 替换
  • 视频压缩与重建研究

替代项目

VideoGPT、TATS (Time-Aware Transformer)、MagViT

上一篇:LlamaGen

下一篇:caption-upsampling

同类项目推荐

RWKV-LM 开源

用 RNN 的速度跑出 GPT 的效果,长上下文不再烧显存

RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be dir···

★ 14772 2026-08-09
awesome-ai 开源

一站式导航,快速找到AI学习与开发资源

A curated list of artificial intelligence resources (Courses, Tools, App, Open Sourc···

★ 557 2026-08-09
xlstm 开源

让 LSTM 重获新生,长序列建模更快更省

Official repository of the xLSTM.

★ 2214 2026-08-09
reasoning-on-graphs 开源

让大模型推理有据可依,每一步都可解释

Official Implementation of ICLR 2024 paper: "Reasoning on Graphs: Faithful and Inter···

★ 536 2026-08-09
Skywork 开源

开源中英双语大模型,数据权重全开放,快速训练部署

Skywork series models are pre-trained on 3.2TB of high-quality multilingual (mainly ···

★ 1500 2026-08-09
awesome-ltx2 开源

找齐 LTX-2 模型、工作流和 LoRA,一键上手视频生成。

All available LTX-2 models, encoders, workflows, LoRAs for ComfyUI

★ 605 2026-08-10
laya 开源

一次前向传播,把任意文本变成选择、评分和是/否判断

Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decision···

★ 35192 2026-10-14
OpenGPTAndBeyond 开源

汇总开源大模型实现,快速上手ChatGPT类技术

Open efforts to implement ChatGPT-like models and beyond.

★ 107 2026-08-09
buffer-of-thought-llm 开源

给大模型装个思想缓存,复杂推理更准更稳

[NeurIPS 2024 Spotlight] Buffer of Thoughts: Thought-Augmented Reasoning with Large ···

★ 678 2026-08-09