TokenFlow
一个分词器同时搞定图像理解和生成，统一多模态。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 471
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU
- Python
- 模型权重
安装与启动步骤
-
1拉代码
官方实现仓库。
-
2装环境
按其说明文档装的依赖，比 README 更细。
-
3下检查点
分词器与生成模型是分开的权重。
-
4跑理解任务评估
先验理解侧。
-
5跑文生图评估
生成侧另有配置。
如何确认成功
用官方检查点跑通理解与生成两侧各一个评估，指标与论文表格同一量级
注意事项
- 它研究的是把理解与生成统一到一套离散视觉词表上，属论文代码。
- 分词器与生成模型是两份权重，只下一份跑不起来。
- 详细步骤在另外的说明文档里，README 只给入口。
- 两侧评估口径不同，别用一侧的分数代表整体。
核心亮点
- 统一理解与生成：单一分词器同时支持多模态理解与生成任务，避免传统模型需要两套分词方案的麻烦
- 语义连贯词表：视觉词表经过语义对齐，token 具有更强的语义可解释性，利于下游任务
- 官方实现：来自 CVPR 2025 论文的官方代码，质量有保障，便于复现和二次开发
不足之处
- 项目处于早期，文档和社区支持尚待完善
- 依赖大规模预训练，训练和推理资源门槛较高
适用场景
- 多模态大模型预训练：作为统一图像分词器，为视觉语言模型提供基础 token 化模块
- 图像生成：用于自回归式文本到图像生成，提升生成质量与语义一致性
- 图像理解：用于图像分类、分割等视觉理解任务，提供语义丰富的视觉表示
替代项目
VQGAN、SEED Tokenizer、Chameleon Tokenizer
下一篇：x1
同类项目推荐
gitleaks
开源
扫描 Git 历史，秒级揪出泄露的密钥和令牌
Find secrets with Gitleaks
llm.pdf
开源
打开 PDF 就能和 AI 聊天，不用装任何环境
Run LLMs inside a PDF file.
unified-generative-zoo
开源
一个库跑通扩散、GAN、3D生成，对比实验省心省力
[ICCV 2023] https://arxiv.org/abs/2210.05559
KnowLM
开源
给大模型注入知识，让回答更专业准确
An Open-sourced Knowledgable Large Language Model Framework.
ClaraVerse
开源
自托管 AI 全家桶，聊天、自动化、生图一网打尽，数据全在自己手里。
Claraverse is a opesource privacy focused ecosystem to replace ChatGPT, Claude, N8N,···
Halfrost-Field
开源
深入源码与系统设计，助你从会用进阶到懂原理
✍ Source Code Deep Dives, System Design & Engineering Blogs | Halfrost-Field 冰霜之···
open-llms
开源
一张表看清哪些开源大模型能商用，选型不踩坑
A list of open LLMs available for commercial use.
state-of-open-source-ai
开源
一张图看清开源AI版图，快速把握技术趋势。
:closed_book: Clarity in the current fast-paced mess of Open Source innovation
papagei-foundation-model
开源
用PPG信号预训练，快速构建健康监测AI模型
(ICLR'25) PaPaGei: Open Foundation Models for Optical Physiological Signals