SREGym

用真实生产事故考题，测出 AI Agent 会不会排障

SREGym 是一个面向 AI Agent 的评测基准，专门用来回答“AI 智能体能不能真正处理生产环境事故”这个问题。它把站点可靠性工程（SRE）里常见的故障排查与恢复任务，抽象成可重复、可评分的测试场景，让不同 AI Agent 在统一标准下比拼排障能力。项目解决的核心问题是：当前多数 Agent 评测停留在问答或代码生成，缺少贴近真实运维的闭环任务，无法衡量 Agent 在告警分析、日志定位、根因判断、修复执行等环节的综合表现。核心能力包括：提供生产事故风格的评测环境与任务集，定义可量化的成功标准，支持对 Agent 的排障流程和最终结果打分，从而帮助研究者和工程团队对比不同 Agent 方案在 SRE 场景下的实际水平。

开源 unknown 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 284
维护状态 活跃
是否开源 是
定价模式 unknown

项目数据

分类评测安全
开发团队SREGym
所属国家
官网地址https://sregym.com
GitHubhttps://github.com/SREGym/SREGym
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型
GitHub 星标★ 284
30天Star增速
HF 下载量
上线时间2025-05-19 00:00:00
最近更新2026-09-17 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-12
浏览次数2

使用教程

核心亮点

  • 聚焦生产事故排障这一高价值场景，任务设计贴近真实 SRE 工作流
  • 提供可量化评分标准，便于横向对比不同 AI Agent 的运维能力
  • 用 Python 实现，评测流程可复现，方便研究者接入自己的 Agent

不足之处

  • 项目处于早期，星标数较少，场景覆盖和任务数量可能有限
  • 文档与社区生态尚在建设，长期维护和扩展性有待观察

适用场景

  • 评估自研运维 Agent 在故障定位与恢复任务上的真实水平
  • 对比不同大模型驱动的 Agent 在 SRE 场景下的排障能力差异
  • 作为研究基准，推动 AI Agent 在站点可靠性工程方向的能力提升

替代项目

SWE-bench、AgentBench

项目介绍

SREGym 是一个评测安全领域的开源项目，官方简介：Can AI agents resolve production incidents?。项目使用 Python 开发，在 GitHub 上获得 277 星标。

上一篇：agent-scan

下一篇：evals

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1518 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
Tracely-ai 开源

把生产事故变成回归测试，合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1403 2026-08-24