项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 170
核心亮点
- 提供标准化 harness，同一任务可在不同 agent 实现上复现，结果具备可比性
- 评测框架模块化可扩展，新增任务、指标和智能体接入成本低
- 同时覆盖 LLM 与 VLM 智能体，支持多模态能力评估
不足之处
- 170 星早期项目，生态和第三方任务库尚不丰富
- 文档与社区规模待观察，接入自定义 agent 可能需读源码
适用场景
- 研究团队复现论文基准并横向对比多个 agent
- 企业在选型时批量评测 Claude Code、Codex 等智能体
- 团队自建持续集成的 agent 能力回归评测流水线
替代项目
SWE-bench、AgentBench
上一篇：uncheatable_eval
下一篇：MemoryAgentBench
同类项目推荐
Awesome-LLM-Uncertainty-Reliabil···
开源
一页看懂LLM可靠性研究全景，找论文、查基准、避幻觉坑
Awesome-LLM-Robustness: a curated list of Uncertainty, Reliability and Robustness in···
ZORG-Jailbreak-Prompt-Text
开源
一键绕过AI审查，解锁聊天机器人的隐藏回答
Bypass restricted and censored content on AI chat prompts
claw-eval
开源
接入模型跑人工校验任务，快速量化智能体能力
Claw-Eval is an evaluation harness for evaluating LLM as agents. All tasks verified ···
XLingEval
开源
测测大模型用不同语言回答医疗问题的靠谱程度
Code and Resources for the paper, "Better to Ask in English: Cross-Lingual Evaluatio···
llm-eval
开源
一站式跑分，快速对比大模型与 RAG 效果
大语言模型评估平台，支持多种评估基准、自定义数据集和性能测试。支持基于自定义数据集的···
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
Lookback-Lens
开源
只看注意力图，就能揪出并压制模型胡编乱造
Code for the EMNLP 2024 paper "Detecting and Mitigating Contextual Hallucinations in···
jevals
开源
每条 trace 一次请求，几分钱延迟低到能进 Agent 循环
Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···