项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 250
核心亮点
- 覆盖 Agent 多步推理与工具调用等端到端评测，不止单轮问答
- 支持自定义数据集、评分器与 LLM-as-Judge，可接入 CI 做回归
- Python 实现，与 strands-agents 生态衔接，便于融入现有工程
不足之处
- 项目处于早期，星标较少，生态与社区案例有限
- 内置指标与文档完善度可能不足，复杂 Agent 场景需自行扩展
适用场景
- Agent 提示词或工具链改动后做版本回归对比
- 模型选型时横向评测多个 LLM 在相同任务上的表现
- 把评测流程接入 CI，持续监控线上 Agent 质量波动
替代项目
promptfoo、DeepEval
同类项目推荐
jevals
开源
每条 trace 一次请求，几分钱延迟低到能进 Agent 循环
Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···
OSWorld
开源
让 AI 学会像人一样操作电脑，真实环境跑分评测
[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real ···
svelte-bench
开源
专测大模型写 Svelte 5 代码行不行
An LLM benchmark for Svelte 5 based on the OpenAI methodology from OpenAIs paper "Ev···
RAMPART
开源
用 pytest 给 AI 智能体做安全体检，上线前跑一遍
A pytest-native safety and security testing framework for agentic AI applications
evalplus
开源
给 LLM 代码生成做严格体检，避免高分低能
Rigourous evaluation of LLM-synthesized code - NeurIPS 2023 & COLM 2024
speca
开源
把规范文档自动变成审计清单，逐条核查代码
SPECA: Specification-to-Checklist Agentic Auditing Framework
Awesome-Anomaly-Detection-Founda···
开源
一网打尽基础模型做异常检测的前沿资源
A curated list of papers & resources on anomaly detection foundation models using la···
llm-colosseum
开源
让大模型打街霸，用对战胜负测实力
Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality ···
openbench
开源
同一模型，不同封装，一测便知谁更省更快更准。
Same model, different wrapper: a from-scratch benchmark comparing coding-agent harne···