项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 393
核心亮点
- 聚焦生产事故排障这一高价值场景，任务设计贴近真实 SRE 工作流
- 提供可量化评分标准，便于横向对比不同 AI Agent 的运维能力
- 用 Python 实现，评测流程可复现，方便研究者接入自己的 Agent
不足之处
- 项目处于早期，星标数较少，场景覆盖和任务数量可能有限
- 文档与社区生态尚在建设，长期维护和扩展性有待观察
适用场景
- 评估自研运维 Agent 在故障定位与恢复任务上的真实水平
- 对比不同大模型驱动的 Agent 在 SRE 场景下的排障能力差异
- 作为研究基准，推动 AI Agent 在站点可靠性工程方向的能力提升
替代项目
SWE-bench、AgentBench
上一篇：agent-scan
下一篇：evals
同类项目推荐
Alignment-Whack-a-Mole-Code
开源
微调一下，对齐模型又开始背版权书
The official code repo of Alignment Whack-a-Mole: Finetuning Activates Verbatim Reca···
NOIR
开源
用 adb 给手机做隐私体检，看清 App 上报了什么
手机隐私审计：用 adb 扫出 Android 应用的权限、上报端点与数据流向，并给出可回滚的处置···
lmms-eval
开源
一套工具搞定文本/图像/视频/音频模型评测，结果可复现
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
bigcodebench
开源
用真实编程难题，测出大模型代码能力的真实天花板
[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI
VisualWebBench
开源
测一测多模态大模型在真实网页上有多能打
Evaluation framework for paper "VisualWebBench: How Far Have Multimodal LLMs Evolved···
awesome-RLHF
开源
一份清单，从入门到进阶搞定 RLHF 全部资源
A curated list of reinforcement learning with human feedback resources (continually ···
ai-eval-platform
开源
一站式评测 AI 应用，让质量看得见
开源 AI 应用评测平台，支持 RAG、AI Agent、多轮对话、LLM-as-Judge、接口评测、评测报告···
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
content-debiased-fvd
开源
让视频生成评估更公平，去除内容偏差的FVD指标
[CVPR 2024] On the Content Bias in Fréchet Video Distance