项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 269
核心亮点
- 针对文本密集图像（如文档、截图）的视觉问答效果显著优于原版LLaVA
- 提供了完整的训练数据生成流程，基于GPT-4自动构建指令数据
- 代码结构清晰，易于基于LLaVA框架进行二次开发
不足之处
- 项目处于早期阶段，文档和社区支持待观察
- 依赖较大的模型和数据集，训练成本较高
适用场景
- 文档图像问答（如合同、发票信息提取）
- 截图理解（如网页、聊天记录内容分析）
- 辅助视觉障碍人士读取图像中的文字信息
替代项目
LLaVA、mPLUG-Owl、InstructBLIP
同类项目推荐
OpenGraph
开源
训练一次，零样本适配任意新图任务
[EMNLP'2024] "OpenGraph: Towards Open Graph Foundation Models"
Awesome-LLM-Papers-Comprehensive···
开源
一站式找全LLM论文与代码，省去全网搜刮时间
Awesome LLM Papers and repos on very comprehensive topics.
dalai
开源
一条命令本地跑 LLaMA，无需折腾环境
The simplest way to run LLaMA on your local machine
awesome-personalized-lmms
开源
收藏个性化多模态模型资源，快速跟进前沿研究。
A curated list of Awesome Personalized Large Multimodal Models resources
gpt-oss
开源
OpenAI 开放权重模型，本地部署也能跑出强推理
gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI
LLM4TS
开源
一网打尽LLM+时序模型，找代码、看论文、选基线，省时省力。
Large Language & Foundation Models for Time Series.
awesome-llm
开源
一份清单，带你快速摸清大模型生态
Awesome series for Large Language Model(LLM)s
HPT
开源
用预训练Transformer统一异构机器人策略，提升泛化与训练效率
Heterogeneous Pre-trained Transformer (HPT) as Scalable Policy Learner.
LongLLaDA
开源
让扩散模型也能读懂长文本，解锁超长上下文
Methods and code for extending the context length of diffusion language models