项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 154
核心亮点
- 首个专注类级代码生成的基准，填补 HumanEval 等函数级评测空白
- 100 个人工构建任务，覆盖 10 个领域，含类依赖和测试用例，评估更全面
- 支持类级和方法级多粒度评估，提供多种生成模式，适配不同模型接口
不足之处
- 任务规模较小（100 个），可能不足以区分顶尖模型性能
- 文档/社区待观察
适用场景
- 评估大模型在类设计、方法交互上的代码生成能力
- 对比不同模型在面向对象编程任务上的表现
- 作为代码生成模型训练或微调后的验证基准
替代项目
HumanEval、MBPP、DS-1000
上一篇：DS-1000
下一篇：VisualWebBench
同类项目推荐
langwatch
开源
一站式搞定LLM评估与智能体测试，从开发到上线全程可控
Open-Source Agent Observability & Evals for AI Platform teams. Trace, test, route an···
autoarena
开源
自动两两PK，快速选出最优LLM或RAG配置
Rank LLMs, RAG systems, and prompts using automated head-to-head evaluation
Doberman-Core
开源
给 AI 智能体装上安全锁，防提示注入，控工具权限
Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···
heurigym
开源
用 LLM 设计优化算法，一键评测智能体启发式能力
Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization (ICLR'26)
nemo-helix
开源
让上线的 AI Agent 更快更准更安全
NeMo Helix: Make the agents you ship faster, more accurate, and safer.
ParseBench
开源
给AI文档解析打分，选型不踩坑
ParseBench - A Document Parsing Benchmark for AI Agents
hash-hop
开源
自动生成超长文本定位题，快速测出模型长上下文真本事
Long context evaluation for large language models
Awesome-MLLM-Uncertainty
开源
一页看尽多模态模型不确定性研究，快速定位关键论文
✨A curated list of papers on the uncertainty in multi-modal large language model (M···
agentic_security
开源
给大模型应用做安全体检，自动发现漏洞并生成报告
Agentic LLM Vulnerability Scanner / AI red teaming kit