项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 536
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA 显卡
- PyTorch
- 预训练权重
安装与启动步骤
-
1拉仓库装依赖
研究项目，依赖较重。
git clone https://github.com/FoundationVision/UniTok.git -
2下权重
按说明准备分词器权重。
-
3跑推理脚本
先用示例图验证分词与重建。
python inference.py -
4看统一表示的效果
重点是同一套 token 能不能同时服务理解与生成。
-
5跑训练脚本
要复现结果看它的启动脚本。
bash launch.sh
如何确认成功
用示例图跑完分词与重建，重建结果与原图在结构上高度一致，且同一 token 序列能喂给理解模型
注意事项
- 它做的是统一视觉分词：把理解与生成放进同一套离散表示。
- 这类工作的价值在于省掉两套视觉编码器。
- 训练成本高，个人多做推理验证。
- 研究代码，接口随论文迭代变动。
核心亮点
- NeurIPS 2025 Spotlight 论文背书，方法有理论创新性
- 统一生成与理解任务，减少多模型部署成本
- 代码开源，提供预训练权重，便于复现和二次开发
不足之处
- 项目处于早期，文档和社区支持尚不完善
- 依赖特定模型架构，迁移到其他框架需适配
适用场景
- 自回归图像生成（如文本到图像）
- 多模态大语言模型的视觉编码
- 图像理解任务（分类、分割）的预训练
替代项目
VQGAN、SEED、BEiT v2
同类项目推荐
WangChanGLM
开源
让 AI 听懂多国语言，精准执行你的指令
WangChanGLM - The Multilingual Instruction-Following Model
Awesome-Efficient-AIGC
开源
一站式索引高效AIGC论文与代码，快速跟上研究前沿
A curated list of papers and code on efficient diffusion models for image, video, wo···
Qwen2.5-Math
开源
数学推理专用大模型，解方程、证明题更准更稳
A series of math-specific large language models of our Qwen2 series.
torchchat
开源
一条命令在手机/电脑上跑大模型，无需服务器
Run PyTorch LLMs locally on servers, desktop and mobile
Spark-X2.5
开源
本地跑智能体大模型，离线也能调工具写代码
Spark-x2.6 open model series. Pushing the Limits of Agentic Capabilities in On-Devic···
MiniOneRec
开源
用最小代码跑通阿里OneRec推荐模型，快速上手统一召回排序
Minimal reproduction of OneRec
awesome-llm-role-playing-with-pe···
开源
一站式收藏LLM角色扮演资源，快速上手人设对话开发
Awesome-llm-role-playing-with-persona: a curated list of resources for large languag···
Awesome-Multimodal-Large-Languag···
开源
一榜在手，追踪多模态大模型最新进展
:sparkles::sparkles:Latest Advances on Multimodal Large Language Models
Diffusion-Models-Papers-Survey-T···
开源
学视频生成怕绕路？这份资料库帮你理清
Diffusion model papers, survey, and taxonomy