compute-eval 是评测安全领域的开源项目，由 NVIDIA 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 149。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-14。开源免费，无付费计划。
它主要面向的使用场景是：对比不同大模型生成CUDA内核的正确率。同类可对比的替代方案包括 HumanEval、MBPP、CodeContests。
compute-eval
用真实编译运行测大模型写 CUDA 代码行不行
ComputeEval 是一个专门用于评测大语言模型生成 CUDA 代码能力的开源框架。它解决的核心问题是：现有代码评测基准大多面向通用编程语言，缺乏对 GPU 并行计算场景的针对性评估。项目通过构建 CUDA 代码生成任务，让模型根据自然语言描述或函数签名产出可编译、可运行的 CUDA 内核，再借助编译与执行结果判断正确性。核心能力包括任务组织、代码抽取、编译验证和结果统计，帮助研究者和工程师量化模型在 GPU 编程这一高门槛领域的实际水平。它适合用于模型选型、微调效果对比以及 CUDA 教学辅助等场景。
开源
free
评测安全
GitHub 星标
★ 149
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类评测安全
开发团队NVIDIA
所属国家
定价模式free
价格说明开源免费，无付费计划
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型
GitHub 星标★ 149
30天Star增速
HF 下载量
上线时间2025-04-02 00:00:00
最近更新2026-09-14 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-24
浏览次数0
使用教程
核心亮点
- 聚焦 CUDA 代码生成这一细分评测空白，任务设计贴近 GPU 编程实际需求
- 以编译和执行结果作为判定依据，比单纯文本匹配更能反映代码可用性
- Python 实现，便于接入现有模型调用与评测流水线
不足之处
- 项目处于早期，星标仅 149，任务覆盖面和社区生态有待观察
- 依赖 CUDA 运行环境，评测成本和环境配置门槛较高
适用场景
- 对比不同大模型生成 CUDA 内核的正确率
- 微调 GPU 编程专用模型时做效果验证
- CUDA 教学场景中自动检查学生或模型提交的代码
替代项目
HumanEval、MBPP、CodeContests
项目介绍
上一篇：ai-evals
下一篇：没有了！
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···