compute-eval
用真实编译运行测大模型写 CUDA 代码行不行
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-24 · 当前星标 ★ 150
核心亮点
- 聚焦 CUDA 代码生成这一细分评测空白，任务设计贴近 GPU 编程实际需求
- 以编译和执行结果作为判定依据，比单纯文本匹配更能反映代码可用性
- Python 实现，便于接入现有模型调用与评测流水线
不足之处
- 项目处于早期，星标仅 149，任务覆盖面和社区生态有待观察
- 依赖 CUDA 运行环境，评测成本和环境配置门槛较高
适用场景
- 对比不同大模型生成 CUDA 内核的正确率
- 微调 GPU 编程专用模型时做效果验证
- CUDA 教学场景中自动检查学生或模型提交的代码
替代项目
HumanEval、MBPP、CodeContests
同类项目推荐
Machine_Learning_CTF_Challenges
开源
实战演练AI攻防，用CTF挑战掌握模型攻击与LLM漏洞利用
Hack AI/ML applications — CTF challenges for model attacks, LLMs and AI Agent explo···
hol-guard
开源
给 AI 代理装杀毒软件，实时拦截危险操作和攻击
Open-source antivirus and firewall for AI agents: block risky tools, secret access, ···
S-Eval
开源
一键自动化评估大模型安全，覆盖多风险场景
S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Mod···
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
Awesome-KV-Cache-Optimization
开源
一页看懂 KV Cache 优化全景，快速选对推理加速方案
[ACL 2026] Towards Efficient Large Language Model Serving: A Survey on System-Aware ···
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
frontier-evals
开源
用统一标准跑分，快速对比前沿模型真实能力
OpenAI Frontier Evals
pairjudge
开源
用 LLM 当裁判做 A/B 评测，省钱、去偏、还能蒸馏小模型
Pairwise LLM judges (A/B/tie): budget-aware multi-turn packing, position-bias correc···
MMMU
开源
用大学级多模态考题，测出 AI 的真实专家水平
This repo contains evaluation code for the paper "MMMU: A Massive Multi-discipline M···