MultimodalOCR
用29项细粒度任务，测出多模态大模型的OCR真实水平
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-29 · 当前星标 ★ 901
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- GPU（跑大模型时）
安装与启动步骤
-
1看基准定义
这个仓库是多模态 OCR 的基准整理，含数据、指标与评测脚本。
-
2选评测集
按任务分文档解析、表格、公式等，先确定你要对齐的那一档。
-
3跑评测
按 README 装依赖并下数据，评测脚本会输出各子任务分数。
-
4注意口径
不同论文的编辑距离归一化方式不同，横向对比前先统一口径。
如何确认成功
评测脚本产出分项指标表。
注意事项
- 只做评测不做训练，模型能力要自己接。
核心亮点
- 覆盖29个OCR子任务，从文字识别到文档理解，评测维度全面
- 提供统一评测框架和模型接入接口，可复现对比GPT-4V、Gemini等主流模型
- 官方持续维护，基准结果公开透明，便于追踪多模态OCR能力演进
不足之处
- 评测依赖外部模型API，本地复现需自行准备权重和推理环境，门槛较高
- 部分子任务数据未完全开源，需申请或按脚本自行生成，增加使用成本
适用场景
- 多模态大模型选型时，横向对比不同模型的OCR能力
- OCR相关研究论文中，作为标准基准报告模型性能
- 指导模型训练时，定位OCR弱项并针对性优化数据配比
替代项目
MMBench、SEED-Bench、OCR-VQA
同类项目推荐
frigate
开源
本地实时识别摄像头物体，低延迟高隐私，智能家居联动神器
NVR with realtime local object detection for IP cameras
GAE-GeometricAutoEncoder
开源
把三维几何写进隐空间，让生成的世界前后一致
[arxiv'26] GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Gene···
indra
开源
百万参数OCR，纯CPU跑出15倍速
1M param OCR model - runs on CPU, 15x faster than tesseract, close to 1B+ param mode···
grounded-segment-anything-colab
开源
一句话输入，自动检测分割并重绘图像，Colab 免费跑通全流程
Grounding DINO with Segment Anything & Stable Diffusion colab
UniAct
开源
统一机器人动作表示，让具身模型跨场景即学即用
[CVPR 2025] The offical Implementation of "Universal Actions for Enhanced Embodied F···
PaddleOCRApi
开源
一键部署离线OCR接口，多语言调用识别图片文字
开源、免费、离线PaddleOCR，.NET完整开发套件，一键部署WebAPI 接口，支持 C#/C++/Java/P···
TesserAct
开源
让机器人看懂并预测4D世界，实现具身智能
ICCV 2025 | TesserAct: Learning 4D Embodied World Models
ImageIndexer
开源
本地跑大模型，自动给图片打标签，搜图快人一步
Creates an index of images, queries a local LLM and adds tags to the image metadata
lite.ai.toolkit
开源
一行代码调用 100+ 模型，C++ 部署 AI 不再难
A lite C++ AI toolkit: 100+ models with MNN, ORT and TRT, including Det, Seg, Stable···