项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 260
技术标签
核心亮点
- 覆盖从仓库理解到交付的完整开发流程，评估更贴近实际
- 引入成本感知 α 指标，兼顾效果与资源消耗，评估更全面
- 基于真实仓库任务，避免玩具级测试，结果更有说服力
不足之处
- 早期项目，任务集规模和多样性可能有限
- 文档和社区生态待观察
适用场景
- 对比评测不同代码代理（如 Copilot、Codex）的实战能力
- 研究机构用于验证新代码生成/修复算法的有效性
- 企业选型时评估 AI 编程工具在内部仓库上的表现
替代项目
SWE-bench、HumanEval、RepoBench
同类项目推荐
Jailbreak-Foundry
开源
把越狱论文变成可跑的攻击测试，实时更新基准
A system that turns jailbreak papers into runnable attacks and benchmarks — live, a···
llm-hallucination-survey
开源
一站式读懂大模型幻觉，从入门到前沿
Reading list of hallucination in LLMs. Check out our new survey paper: "Siren’s Son···
AgentArk
开源
一套环境跑通多模态 Agent 评测与 RL 训练
A General-Purpose Environment Framework for Scalable Multimodal Agent Evaluation and···
aws-bench
开源
给AI智能体在真实AWS云上打分的基准测试
aws-bench measures how well AI agents and model combinations perform on real AWS wor···
pi-guardrails
开源
给 AI 代理装刹车，危险命令和环境文件先拦下
Security hooks for Pi. Prevents dangerous operations, protects env files, gates dest···
CipherChat
开源
用密码绕过安全护栏，测出大模型隐藏漏洞
A framework to evaluate the generalization capability of safety alignment for LLMs
dep-scan
开源
扫依赖和镜像，查漏洞与许可证风险，出 SBOM
OWASP dep-scan is a next-generation security and risk audit tool based on known vuln···
awesome-security-for-ai
开源
一站式导航AI安全工具，快速选型不踩坑
Awesome products for securing AI systems includes open source and commercial options···
Awesome-LLM-Reasoning-Failures
开源
一库看懂大模型推理翻车现场与原因
Repo for "Large Language Model Reasoning Failures"