BLIVA

让AI看清图片里的文字,回答更准确

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 25 🐛 待处理 20 👀 关注 9
GitHub ↗
GitHub 星标 ★ 260
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,BSD-3-Clause许可证,可自由使用和修改,无付费版本。

项目预览

BLIVA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队mlpc-ucsd
定价模式🏷️完全免费
价格说明开源项目,BSD-3-Clause许可证,可自由使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
技术栈/模型blip2,bliva,chatbot,instruction-tuning,llama,llm,lora,multimodal,visual-language-learning
GitHub 星标★ 260
上线时间2023-08-02 00:00:00
代码更新2024-04-14
仓库体积12.6 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

BLIVA是一个基于多模态大语言模型的视觉问答助手,专注于处理包含大量文本的视觉问题,如文档截图、路牌、菜单等场景。它通过结合BLIP-2的视觉编码能力和LLaMA等语言模型的推理能力,并引入指令微调和LoRA等高效训练技术,显著提升了模型对图像中文字信息的理解和回答准确性。项目提供了完整的训练和推理代码,支持自定义数据集进行微调,旨在解决传统多模态模型在文本丰富图像上表现不佳的问题。其核心能力包括:从图像中提取并理解文本、结合视觉和语言信息进行推理、以及通过简单架构实现高效的多模态对话。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 260

核心亮点

  • 在TextVQA等文本丰富视觉问答基准上表现优异,超越同类模型
  • 架构简单,基于BLIP-2和LLaMA,易于理解和复现
  • 支持LoRA等高效微调,降低训练成本

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 对中文场景支持有限,主要面向英文

适用场景

  • 文档图像问答,如合同、发票信息提取
  • 街景文字识别,如路牌、招牌问答
  • 教育场景,如教材截图提问

替代项目

LLaVA、InstructBLIP、MiniGPT-4

上一篇:LLaVAR

下一篇:gpt-j

同类项目推荐

awesome-japanese-llm 开源

一站式查找日语大模型,快速选型不踩坑

日本語LLMまとめ - Overview of Japanese LLMs

★ 1446 2026-08-09
General-Physics-Transformer 开源

一个模型搞定多种物理系统模拟,告别重复建模

A foundation model to learn multiple physical systems at once

★ 98 2026-08-09
denoising-diffusion-pytorch 开源

用 PyTorch 复现扩散模型,从噪声生成逼真图像

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

★ 10724 2026-10-15
TokenFlow 开源

一个分词器同时搞定图像理解和生成,统一多模态。

[CVPR 2025] Official impl. of "TokenFlow: Unified Image Tokenizer for Multimodal Un···

★ 471 2026-08-09
pytorch-stable-diffusion 开源

手写 Stable Diffusion 源码,从论文到图像生成一步到位

Stable Diffusion implemented from scratch in PyTorch

★ 1086 2026-08-09
HRM-Text 开源

1B小模型也能做复杂推理,任务完成更靠谱

HRM-Text is a 1B text generation model based on the HRM architecture, strengthened b···

★ 2294 2026-08-09
UForm 开源

小体积多模态模型,图文视频理解快数倍

Pocket-Sized Multimodal AI for content understanding and generation across multiling···

★ 1253 2026-11-06
Awesome-Diffusion-LLM 开源

一页看尽扩散+大模型论文,快速入门新方向

A comprehensive list of papers about Large-Language-Diffusion-Models.

★ 111 2026-08-09