superpowers-evals

驱动真实编码智能体,自动评分工作流合规性

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 智能体 🍴 复刻 19 🐛 待处理 21 👀 关注 1
GitHub ↗
GitHub 星标 ★ 144
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,无官网,需自行部署,全部功能免费。

项目预览

superpowers-evals 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类智能体
开发团队prime-radiant-inc
定价模式🏷️完全免费
价格说明开源项目,无官网,需自行部署,全部功能免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言TypeScript
技术栈/模型ai-agents,coding-agents,evals,python,superpowers
GitHub 星标★ 144
上线时间2026-05-13 00:00:00
代码更新2026-10-21
仓库体积10.5 MB
本站数据更新2026-11-07
维护状态较活跃
收录时间2026-08-09
浏览次数6

项目介绍

superpowers-evals 是 superpowers 项目的行为评估实验室(Quorum),用于驱动真实编码智能体 CLI(如 Claude、Codex、Gemini、Kimi 等)通过 QA 代理执行任务,并根据场景标准和确定性后检查对工作流合规性进行评分。它解决的核心问题是:如何客观、可重复地评估编码智能体在真实工作流中的表现,而不仅仅是单元测试或人工判断。核心能力包括:定义场景化评估标准、自动化驱动多种编码智能体、执行后检查并生成合规性评分。项目采用 TypeScript 编写,技术栈涉及 AI 代理、编码代理、评估框架等,目前处于早期阶段(95 星),但设计思路清晰,适合需要量化编码代理能力的团队参考或使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 144

核心亮点

  • 支持多种主流编码智能体(Claude、Codex、Gemini、Kimi),覆盖面广
  • 评估基于真实 CLI 驱动,结果更贴近实际使用场景
  • 确定性后检查机制,评分客观可复现

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 依赖 superpowers 项目生态,独立使用门槛较高

适用场景

  • 对比不同编码智能体的工作流执行能力
  • 在 CI/CD 中集成编码代理的自动化质量评估
  • 研究编码代理的合规性和行为模式

替代项目

AgentBench、SWE-bench、ToolBench

上一篇:awesome-llm-agent-papers

下一篇:ClawBench

同类项目推荐

evaluation-guidebook 开源

学透 LLM 评估,避开 benchmark 陷阱,科学选模型。

Sharing both practical insights and theoretical knowledge about LLM evaluation that ···

★ 2165 2026-08-09
LLMVault 开源

在真实漏洞靶场中练手,掌握 LLM 安全攻防实战

An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···

★ 352 2026-08-09
power-pwn 开源

给 AI 助手做安全体检,防黑客钻空子

An offensive/defense security toolset for discovery, recon and ethical assessment of···

★ 1266 2026-08-09
arc-agi-benchmarking 开源

统一流程跑多个大模型,横向对比抽象推理成绩

Testing baseline LLMs performance across various models

★ 365 2026-10-24
ps-fuzz 开源

自动模糊测试系统提示词,找出越狱漏洞并加固

Make your GenAI Apps Safe & Secure :rocket: Test & harden your system prompt

★ 718 2026-09-16
CipherChat 开源

用密码绕过安全护栏,测出大模型隐藏漏洞

A framework to evaluate the generalization capability of safety alignment for LLMs

★ 628 2026-08-09
content-debiased-fvd 开源

让视频生成评估更公平,去除内容偏差的FVD指标

[CVPR 2024] On the Content Bias in Fréchet Video Distance

★ 149 2026-08-09
Zero-Breach-Toolkit 开源

离线自查设备是否留有已知间谍软件痕迹

Free, open-source check for traces of mercenary spyware (Pegasus, Predator, Graphite···

★ 4543 2026-10-29
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1311 2026-08-24