项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 626
使用教程
环境要求
- Python 3.9+
- 待评测的解析工具
- 磁盘空间（文档样本）
安装与启动步骤
-
1装评测框架
它是评测集加脚本，装好依赖即可。
-
2取数据集
数据放在模型托管平台，按文档拉下来。
-
3跑一个基线
先用官方给的工具跑一遍，确认评分链路正常。
-
4接自己的解析器
把待测工具的适配层写好，输出格式要对齐评测要求。
-
5看分维度结果
总分意义有限，表格、图表、内容忠实度分开看才有信息量。
如何确认成功
能跑出自己工具在五个维度上的分数，并与官方榜单同一口径对比
注意事项
- 它衡量的是解析结果能不能支撑智能体决策，不是和原文像不像。
- 样本全部人工校验，规模不大所以单项方差要留意。
- 成本那一列按页计价，商用选型时比分数更实际。
- 同作者还有一个抽取向的基准，做结构化提取的去看那个。
核心亮点
- 提供标准化评测数据集和指标，直接量化解析准确率
- 支持主流框架如 LlamaIndex，开箱即用对比
- 自动化测试流程，可嵌入开发管线持续回归
不足之处
- 早期项目，数据集覆盖场景可能有限
- 文档/社区待观察
适用场景
- AI Agent 开发中评测文档解析方案选型
- 对比不同 OCR/表格提取库的性能差异
- 持续集成中监控解析质量回归
替代项目
DocParseBench、PP-StructureV2、LayoutParser
下一篇：anonymeter
同类项目推荐
agent-skills-eval
开源
跑一遍测试，就知道你的 AI 技能行不行
A test runner for agentskills.io-style AI agent skills
promptfoo
开源
一条命令测试你的提示词和模型，防漏洞防降级。
Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning f···
llamator
开源
给聊天机器人找茬，提前揪出安全漏洞
Red Teaming python-framework for testing chatbots and GenAI systems.
Awesome-LLMs-for-Vulnerability-D···
开源
一站式追踪LLM漏洞检测前沿论文与数据集
The community's most comprehensive, continuously-updated index of research on Large ···
Awesome-Process-Reward-Models
开源
一站式索引过程奖励模型论文与代码，快速上手推理监督
A comprehensive collection of process reward models.
Eval
开源
并行跑 LLM 评测，速度提升最高 17 倍
High-performance LLM evaluation framework with parallel API calls — up to 17× fast···
garak
开源
给大模型做安全体检，一键扫描漏洞并生成报告
the LLM vulnerability scanner
GitTaskBench
开源
用真实仓库任务，测出代码代理的真实水平
Repo-level benchmark for real-world Code Agents: from repo understanding → env setu···
photoguard
开源
给图片加“免疫”，让AI改不动你的图
Raising the Cost of Malicious AI-Powered Image Editing