用真实编程难题，测出大模型代码能力的真实天花板
BigCodeBench 是一个面向代码生成任务的基准测试框架，旨在评估和推动大语言模型在真实编程场景中的能力，其目标直指 AGI。它解决了现有代码基准测试过于简单、无法反映真实开发需求的问题，通过提供包含复杂指令、函数调用、多语言支持和智能体（agent）协作等维度的测试集，全面衡量模型的代码生成、指令遵循和工具使用能力。核心能力包括：构建了大规模、高难度的代码生成任务库，支持 GPT-4、Claude-3、DeepSeek 等主流模型，并设计了面向智能体（agent）的评估协议，可模拟真实开发中的多步骤任务。该基准测试为研究者提供了标准化、可复现的评估手段，帮助识别模型在代码生成上的短板，推动模型向更实用、更智能的方向发展。
HumanEval、MBPP、SWE-bench
bigcodebench 是评测安全领域的开源项目，由 bigcode-project 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 518。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。开源基准测试项目，提供在线评测平台，完全免费使用。从国内网络环境看，可直接访问。
它主要面向的使用场景是：研究者评估大模型代码生成能力，进行学术对比。同类可对比的替代方案包括 HumanEval、MBPP、SWE-bench。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
