项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 282
技术标签
核心亮点
- 提供标准化的RAG评估指标，告别拍脑袋调优
- 支持灵活组合检索器和生成器，方便A/B测试
- 自动生成可视化报告，直观展示系统短板
不足之处
- 项目处于早期，文档和API可能不稳定
- 依赖Jupyter环境，集成到生产流程需额外适配
适用场景
- 对比不同向量数据库在RAG中的检索效果
- 优化提示词时量化评估回答质量变化
- 学术研究中复现和比较RAG方法
替代项目
RAGAS、TruLens、LlamaIndex
上一篇：vidore-benchmark
下一篇：LLMVault
同类项目推荐
TAB
开源
统一评测时间序列异常检测方法，公平对比选最优
[PVLDB 2025] TAB: Unified Benchmarking of Time Series Anomaly Detection Methods
rageval
开源
给RAG系统打分，快速找出效果短板
Evaluation tools for Retrieval-augmented Generation (RAG) methods.
Machine_Learning_CTF_Challenges
开源
实战演练AI攻防，用CTF挑战掌握模型攻击与LLM漏洞利用
Hack AI/ML applications — CTF challenges for model attacks, LLMs and AI Agent explo···
bigcodebench
开源
用真实编程难题，测出大模型代码能力的真实天花板
[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI
RouterArena
开源
统一基准评测 LLM 路由器，跑分上榜选型不踩坑
RouterArena: An open framework for evaluating LLM routers with standardized datasets···
evaluate
开源
一行代码加载指标，快速评测模型效果
Evaluate: A library for easily evaluating machine learning models and datasets.
WorfBench
开源
给AI工作流生成能力打分，让模型编排更靠谱
[ICLR 2025] Benchmarking Agentic Workflow Generation
VibeSearchBench
开源
专治搜索系统'听不懂人话'，用200个模糊任务测出真实力
The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-h···
SpatialEval
开源
测出大模型空间推理真实水平，选模型不再靠猜
[NeurIPS'24] SpatialEval: a benchmark to evaluate spatial reasoning abilities of MLL···