ParseBench

给AI文档解析打分,选型不踩坑

ParseBench 是一个面向 AI Agent 的文档解析基准测试工具,旨在解决 LLM 应用中文档解析能力难以量化评估的问题。它提供了一套标准化的评测流程和数据集,覆盖 PDF 解析、表格提取、OCR 识别等核心任务,支持对 LlamaIndex 等主流文档解析框架进行横向对比。核心能力包括:自动生成测试用例、统一评分指标、可视化报告输出,帮助开发者客观衡量不同解析方案在真实场景下的准确率、鲁棒性和效率。项目基于 Python 实现,易于集成到现有 CI/CD 流程中,适合用于选型、调优和回归测试。

开源 free 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 592
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类评测安全
开发团队run-llama
所属国家
官网地址
定价模式free
价格说明开源基准测试项目,Apache-2.0 许可证,完全免费使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,document-ai,document-parsing,evaluation,llamaindex,llm,machine-learning,ocr,pdf-parsing,table-extraction,vision-language-models
GitHub 星标★ 592
30天Star增速
HF 下载量
上线时间2026-04-10 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-10
浏览次数6

使用教程

核心亮点

  • 提供标准化评测数据集和指标,直接量化解析准确率
  • 支持主流框架如 LlamaIndex,开箱即用对比
  • 自动化测试流程,可嵌入开发管线持续回归

不足之处

  • 早期项目,数据集覆盖场景可能有限
  • 文档/社区待观察

适用场景

  • AI Agent 开发中评测文档解析方案选型
  • 对比不同 OCR/表格提取库的性能差异
  • 持续集成中监控解析质量回归

替代项目

DocParseBench、PP-StructureV2、LayoutParser

项目介绍

ParseBench 是评测安全领域的开源项目,由 run-llama 开发,是 2026 年新上线的项目。

它收录于评测安全分类,该分类目前共有 458 个项目,GitHub 星标数为 592。

近 45 天,它的 GitHub 星标从 545 增加到 592,净增 47。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。开源基准测试项目,Apache-2.0 许可证,完全免费使用。

它主要面向的使用场景是:AIAgent开发中评测文档解析方案选型。同类可对比的替代方案包括 DocParseBench、PP-StructureV2、LayoutParser。

上一篇:awesome-ml-monitoring

下一篇:anonymeter

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12