ClassEval 是评测安全领域的开源项目，由 FudanSELab 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 153。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。开源基准测试项目，MIT许可证，完全免费，无付费版本。
它主要面向的使用场景是：评估大模型在类设计、方法交互上的代码生成能力。同类可对比的替代方案包括 HumanEval、MBPP、DS-1000。
ClassEval
测大模型写类的能力，比单函数更接近真实编程
ClassEval 是一个面向类级别代码生成的基准测试集，旨在评估大语言模型在生成完整类（而非单函数）时的能力。它包含 100 个由人工构建的 Python 类级任务，每个任务包含类描述、方法签名、测试用例等，覆盖 10 个领域。ClassEval 解决了现有基准（如 HumanEval）仅聚焦函数级生成、无法反映真实软件工程中类设计复杂性的问题。其核心能力包括：提供多粒度评估（类级、方法级）、支持多种生成模式（从类描述生成整个类、从方法描述补全方法等），并附带自动化评估脚本，可计算 pass@k 等指标。该基准强调类内部方法间的依赖与交互，能更真实地检验模型对面向对象编程的理解和代码组织能力。
开源
free
开源模型
GitHub 星标
★ 153
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队FudanSELab
所属国家
定价模式free
价格说明开源基准测试项目，MIT许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,code-generation,large-language-models
GitHub 星标★ 153
30天Star增速
HF 下载量
上线时间2023-08-02 00:00:00
最近更新2026-09-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 首个专注类级代码生成的基准，填补 HumanEval 等函数级评测空白
- 100 个人工构建任务，覆盖 10 个领域，含类依赖和测试用例，评估更全面
- 支持类级和方法级多粒度评估，提供多种生成模式，适配不同模型接口
不足之处
- 任务规模较小（100 个），可能不足以区分顶尖模型性能
- 文档/社区待观察
适用场景
- 评估大模型在类设计、方法交互上的代码生成能力
- 对比不同模型在面向对象编程任务上的表现
- 作为代码生成模型训练或微调后的验证基准
替代项目
HumanEval、MBPP、DS-1000
项目介绍
上一篇：DS-1000
下一篇：VisualWebBench
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···