项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 144
核心亮点
- 聚焦真实云运维场景，评测结果贴近生产环境
- 提供标准化任务集，便于横向对比不同智能体
- 基于Python实现，易于扩展和集成到现有CI/CD流程
不足之处
- 仅支持AWS，未覆盖其他云平台
- 文档/社区待观察
适用场景
- AI智能体云运维能力评测与选型
- 模型在工具调用与多步任务上的性能对比
- 云自动化Agent开发中的回归测试
替代项目
GAIA、AgentBench、ToolBench
同类项目推荐
search-arena
开源
量化分析搜索增强大模型，看清能力边界
⚔️ [ICLR 2026] Official code of "Search Arena: Analyzing Search-Augmented LLMs".
merchantbench
开源
365天订单级仿真，测LLM智能体长期经营是否前后一致
MerchantBench is a 365-day, order-level benchmark for evaluating the long-term coher···
Awesome-LLM-Eval
开源
一站式找全 LLM 评测资源，快速选型不踩坑
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, p···
gpt6-Astra
开源
一个工作台集中测试各大模型的越狱与安全边界
gpt6 Astra-claude-grok4.7-deepseekv4.1flash-glm5.3-gemini破甲越狱 · 冷咖啡 BREAK//O···
evalstats
开源
小样本评测也能算出模型差异是否真实
Statistical inference for AI evaluations, from model comparisons to corrections for ···
hash-hop
开源
自动生成超长文本定位题，快速测出模型长上下文真本事
Long context evaluation for large language models
Awesome-LLM-Uncertainty-Reliabil···
开源
一页看懂LLM可靠性研究全景，找论文、查基准、避幻觉坑
Awesome-LLM-Robustness: a curated list of Uncertainty, Reliability and Robustness in···
AlgoTune
开源
写更快的代码，用154道题检验你的算法优化能力
AlgoTune is a NeurIPS 2025 benchmark made up of 154 math, physics, and computer scie···
athina-evals
开源
给 LLM 响应做质检，快速发现模型输出问题
Python SDK for running evaluations on LLM generated responses