TokenFlow

一个分词器同时搞定图像理解和生成，统一多模态。

TokenFlow 是一个面向多模态理解与生成的统一图像分词器，由字节跳动提出，论文发表于 CVPR 2025。它解决的核心问题是传统图像分词器在理解任务（如分类、分割）和生成任务（如文本到图像）之间能力割裂、难以兼顾的痛点。TokenFlow 通过引入语义连贯的视觉词表，将图像转换为离散 token，同时保留高保真重建能力和语义判别能力，从而在一个框架内统一支持多模态理解与生成。其核心能力包括：基于语义的 token 化、高压缩率、以及支持自回归式图像生成。项目提供了官方实现和预训练模型，代码基于 Python，适合研究多模态大模型、图像生成和统一分词器的开发者使用。目前项目处于早期阶段，星标数不高，但技术路线新颖，具有较大的研究价值。