项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 422
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 大显存 NVIDIA GPU
- Python 3.10+
- 已下载的模型权重
安装与启动步骤
-
1读模型设定
单解码器同时做理解与生成,没有 VAE 也没有视觉编码器。
-
2验权重完整性
先用 CPU 跑检查脚本,确认 checkpoint 没缺片。
CUDA_VISIBLE_DEVICES="" python check_checkpoint.py -
3跑推理
按示例改参数,注意图像是 16×16 切块、视频是 4 帧一组。
python inference.py -
4换成自己的输入
分辨率与帧数要符合它的切块约束,否则直接报错。
-
5评估输出
像素空间生成对细节敏感,别用单张图判断能力。
如何确认成功
check_checkpoint 通过,且 inference.py 能对自己的输入产出可辨认的图像或视频
注意事项
- 研究代码,README 以方法说明为主,安装细节要读脚本。
- 显存需求高,消费级卡只能跑很小分辨率。
- 没有 VAE 意味着直接在像素上算,细节好但对算力更敏感。
核心亮点
- 去掉独立视觉编码器,理解与生成共用一套像素级表示,架构更统一
- 同时覆盖图像和视频的理解与生成四类任务,不是只做单一方向
- Python 实现,便于研究者在统一多模态方向上复现和二次开发
不足之处
- 早期项目,星标约 151,社区规模和生态尚小
- 无编码器路线在视频长序列上的计算与效果仍需更多验证
适用场景
- 研究统一多模态架构,对比有编码器方案的效果差异
- 需要同一模型同时做图像/视频理解与生成的实验场景
- 作为无编码器多模态方向的复现与二次开发基线
替代项目
Chameleon、Emu3、Show-o
上一篇:Spark-X2.5
下一篇:HongLabLLM
同类项目推荐
Code-Package-p5.js
开源
跟着书抄代码不如直接跑,生成艺术案例库随开随用
Code package of the book: Generative Design – Creative Coding for the Web with Java···
BayLing
开源
基于LLaMA的中英双语模型,性能接近ChatGPT九成
“百聆”是一个基于LLaMA的语言对齐增强的英语/中文大语言模型,具有优越的英语/中文能力,···
docker-stable-diffusion-taiyi
开源
一键启动中文AI绘画,Docker跑太乙模型
带 Web UI 的 Docker taiyi (太乙),中文 Stable Diffusion WebUI 一键运行环境。
Awesome-Reasoning-Foundation-Mod···
开源
一站式追踪推理模型最新论文与基准
✨✨Latest Papers and Benchmarks in Reasoning with Foundation Models
Awesome-LLM-Survey
开源
一网打尽LLM综述资源,快速入门不迷路
An Awesome Collection for LLM Survey
awesome-llm-role-playing-with-pe···
开源
一站式收藏LLM角色扮演资源,快速上手人设对话开发
Awesome-llm-role-playing-with-persona: a curated list of resources for large languag···
UForm
开源
小体积多模态模型,图文视频理解快数倍
Distributed training & inference for multimodal perception: shared embeddings across···
StartLux-Decision
开源
给每个选项打分,让 AI 决策可量化
Open decision models from 0.8B to 27B: a calibrated probability for every option in ···
Diffusion-Models-Papers-Survey-T···
开源
学视频生成怕绕路?这份资料库帮你理清
Diffusion model papers, survey, and taxonomy