LLaVAR

让AI看懂图片里的文字,并和你对话

LLaVAR 是一个面向文本密集型图像理解的多模态对话助手,基于 LLaVA 架构进行增强,通过指令微调提升模型对图像中文字内容的识别与推理能力。它解决了传统视觉语言模型在 OCR 和文本相关问答上表现不佳的问题,核心能力包括对包含文字、表格、票据等图像的精准理解,以及支持多轮对话交互。项目提供了完整的训练代码、数据构建流程和评估脚本,方便研究者复现和扩展。

开源 free 对话助手
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 268
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类对话助手
开发团队SALT-NLP
所属国家
定价模式free
价格说明开源项目,代码与数据公开,Apache-2.0许可,可自行部署使用,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型chatbot,chatgpt,gpt-4,instruction-tuning,llava,multimodal,ocr,vision-and-language
GitHub 星标★ 268
30天Star增速
HF 下载量
上线时间2023-06-27 00:00:00
最近更新2026-06-04 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 针对文本密集图像(如文档、截图)的视觉问答效果显著优于原版LLaVA
  • 提供了完整的训练数据生成流程,基于GPT-4自动构建指令数据
  • 代码结构清晰,易于基于LLaVA框架进行二次开发

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 依赖较大的模型和数据集,训练成本较高

适用场景

  • 文档图像问答(如合同、发票信息提取)
  • 截图理解(如网页、聊天记录内容分析)
  • 辅助视觉障碍人士读取图像中的文字信息

替代项目

LLaVA、mPLUG-Owl、InstructBLIP

项目介绍

LLaVAR 是开源模型领域的开源项目,由 SALT-NLP 开发,2023 年首次发布。

它收录于开源模型分类,该分类目前共有 422 个项目,GitHub 星标数为 268。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-06-04。代码与数据公开,Apache-2.0许可,可自行部署使用,无付费版本。

它主要面向的使用场景是:文档图像问答(如合同、发票信息提取)。同类可对比的替代方案包括 LLaVA、mPLUG-Owl、InstructBLIP。

上一篇:ViP-LLaVA

下一篇:BLIVA

同类项目推荐

Machine-Learning 开源

跟着博客笔记,边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
CoreML-Models 开源

下载即用的苹果端 AI 模型库,免去转换烦恼

Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···

★ 1873 2026-08-10