项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 517
使用教程
环境要求
- Python 3.10+
- Docker（隔离执行）
- 模型端点
安装与启动步骤
-
1装包
一条 pip 装完，含数据与评测逻辑。
pip install bigcodebench --upgrade -
2先看任务构成
它按调用复杂度与领域分档，别只看总分。
-
3跑一次评测
先用一个小模型跑通，确认环境没问题。
-
4看分档结果
分档差异比总分更能说明模型能力。
-
5注意执行安全
评测会真的执行生成的代码，务必隔离环境。
如何确认成功
跑完一次评测能拿到按复杂度分档的通过率，且执行环境是隔离的
注意事项
- 它是代码生成能力的基准，强调真实库调用与复杂指令。
- 评测会执行生成的代码，必须在隔离环境里跑。
- 分档结果比总分有信息量。
- 榜单分数受提示与后处理影响，横向对比要同口径。
核心亮点
- 任务设计贴近真实开发，包含复杂指令和函数调用，避免简单题刷分
- 支持多模型（GPT-4、Claude-3、DeepSeek等）和智能体模式，评估维度全面
- 由BigCode社区维护，有ICLR'25论文背书，学术严谨性高
不足之处
- 项目仍处于早期，文档和社区生态待观察
- 基准测试集规模可能有限，覆盖场景不够广泛
适用场景
- 研究者评估大模型代码生成能力，进行学术对比
- 开发者选择代码模型时，参考基准结果做技术选型
- AI公司内部测试模型迭代效果，定位代码能力短板
替代项目
HumanEval、MBPP、SWE-bench
同类项目推荐
python-sdk
开源
官方 Python 客户端，几行代码接入标准化 AI 评测
The official Python SDK for Eval Protocol
PatchEval
开源
用真实漏洞测大模型修 bug 的真本事
PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···
llm-jp-eval
开源
一键跑通日语 LLM 多任务评测，结果可对比
LLM4Pentest
开源
让大模型真刀真枪打渗透，测出真实攻防水平
FuzzyAI
开源
自动给 LLM 做安全体检，找出越狱漏洞
A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···
RAMPART
开源
用 pytest 给 AI 智能体做安全体检，上线前跑一遍
A pytest-native safety and security testing framework for agentic AI applications
TaskMeAnything
开源
自动生成多模态任务，全面评估模型能力
[NeurIPS 2024] A task generation and model evaluation system for multimodal languag···
PersonaMem
开源
测测你的AI有多懂你：动态画像+个性化回复基准
[COLM 2025] Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and···
LLMeBench
开源
一键跑分，快速对比各大语言模型效果
Benchmarking Large Language Models