aacr-bench

用真实仓库上下文评测大模型的代码审查能力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 33 🐛 待处理 9 👀 关注 1
GitHub ↗
GitHub 星标 ★ 254
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源基准,免费使用

项目预览

aacr-bench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队alibaba
定价模式🏷️完全免费
价格说明开源基准,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,code-review,multi-language,repository-level-context,software-engineering
GitHub 星标★ 254
上线时间2026-01-19 00:00:00
代码更新2026-10-15
仓库体积7.4 MB
本站数据更新2026-11-07
维护状态较活跃
收录时间2026-11-06
浏览次数0

项目介绍

aacr-bench 是阿里巴巴开源的多语言基准测试集,用于评测大模型在仓库级自动代码审查任务上的能力。它要解决的问题是:现有代码审查评测多停留在函数或补丁片段级别,缺少真实仓库上下文,难以衡量模型能否结合跨文件依赖、项目约定和历史改动给出有价值的审查意见。项目提供 AI 辅助生成、专家人工校验的数据集,覆盖多种编程语言,样本以真实仓库级上下文组织,并配套评测脚本与指标,方便研究者对比不同模型在缺陷识别、建议质量等维度的表现。整体定位偏学术与工程评测,适合作为代码审查方向模型选型、微调效果验证和基准研究的参考工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 254

核心亮点

  • 数据集经 AI 辅助生成并由专家人工校验,标注质量有保障
  • 以仓库级上下文组织样本,比函数级片段更贴近真实代码审查场景
  • 覆盖多种编程语言,可用于跨语言模型能力对比

不足之处

  • 项目处于早期阶段,星标约 254,社区规模和第三方使用案例有限
  • 数据集规模与语言覆盖的持续扩展情况需关注后续更新

适用场景

  • 模型选型时对比不同大模型在代码审查任务上的表现
  • 微调代码审查模型后做效果回归验证
  • 学术研究中对仓库级代码理解能力进行基准评测

替代项目

CodeReviewer、CRScore、SWE-bench

上一篇:GateMem

下一篇:merchantbench

同类项目推荐

LooGLE 开源

测长文本模型真实力,看它能否抓住长文关键

ACL 2024 | LooGLE: Long Context Evaluation for Long-Context Language Models

★ 203 2026-08-09
benchmarks 开源

跑分选型,用数据说话,避免MLOps工具踩坑。

️ Performance Comparison of MLOps Engines, Frameworks, and Languages on Mainstream ···

★ 143 2026-08-09
Awesome-LLM-Compression 开源

大模型压缩论文与工具一站索引,快速选型落地

Awesome LLM compression research papers and tools.

★ 1891 2026-09-16
Awesome-KV-Cache-Optimization 开源

一页看懂 KV Cache 优化全景,快速选对推理加速方案

[ACL 2026] Towards Efficient Large Language Model Serving: A Survey on System-Aware ···

★ 424 2026-09-25
frontier-evals 开源

用统一标准跑分,快速对比前沿模型真实能力

OpenAI Frontier Evals

★ 1335 2026-10-22
sec-code-bench 开源

测测大模型写的代码安不安全

SecCodeBench is a benchmark suite focusing on evaluating the security of code genera···

★ 138 2026-10-14
MathVista 开源

测测AI看图算数行不行,一套基准见分晓

MathVista: data, code, and evaluation for Mathematical Reasoning in Visual Contexts

★ 367 2026-08-09
LLMVault 开源

在真实漏洞靶场中练手,掌握 LLM 安全攻防实战

An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···

★ 351 2026-08-09