PixelUMM

去掉视觉编码器，一套模型同时看懂和生成图像视频

PixelUMM 是一个无编码器（Encoder-Free）的统一多模态模型，同时处理图像与视频的理解和生成任务。传统方案通常依赖独立的视觉编码器（如 CLIP、SigLIP）把图像转成特征，再交给大语言模型或扩散模型处理，导致理解与生成两条链路割裂、参数量大、部署复杂。PixelUMM 的核心思路是去掉独立视觉编码器，让模型直接在像素层面统一建模，用一套架构完成看图、看视频、生成图像和生成视频。这样既减少了模块间的对齐成本，也让理解和生成共享同一套表示，理论上更利于跨任务迁移。项目用 Python 实现，属于早期研究型开源模型，星标约 151，适合关注统一多模态架构、想复现或二次开发的研究者。它解决的是多模态系统中编码器冗余、理解与生成难以统一的问题，核心能力包括统一图像视频理解、统一图像视频生成、无编码器像素级建模。