用真实仓库任务，测出代码代理的真实水平
GitTaskBench 是一个面向真实世界代码代理的仓库级基准测试平台，旨在全面评估 AI 编程助手在复杂软件开发任务中的能力。它解决的问题是现有基准测试过于简化、无法反映真实开发流程的问题。该平台将任务分解为从仓库理解、环境搭建、增量开发/缺陷修复到任务交付的完整链路，并引入成本感知的 α 指标，在衡量任务完成质量的同时兼顾执行成本。其核心能力包括：提供标准化的仓库级任务集、自动化评估流程、以及可复现的对比实验环境。通过模拟真实开发场景，GitTaskBench 帮助开发者、研究者和企业客观比较不同代码代理的性能，推动更实用、更高效的 AI 编程工具发展。
SWE-bench、HumanEval、RepoBench
GitTaskBench 是评测安全领域的开源项目，由 QuantaAlpha 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 467 个项目，GitHub 星标数为 259。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-24。开源基准测试项目，完全免费，无付费版本。
它主要面向的使用场景是：对比评测不同代码代理（如Copilot、Codex）的实战能力。同类可对比的替代方案包括 SWE-bench、HumanEval、RepoBench。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
