arc-agi-benchmarking
统一流程跑多个大模型，横向对比抽象推理成绩
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-24 · 当前星标 ★ 365
核心亮点
- 把任务加载、模型调用、答案校验和结果统计串成一条可复现的评测流程，减少手工比对成本
- 支持在统一配置下对比多个模型，成绩口径一致，便于横向观察差异
- 代码结构轻量，便于按自己的模型接口和任务集改造扩展
不足之处
- 项目处于早期阶段，任务覆盖与指标维度相对有限
- 文档与社区规模较小，遇到问题可参考的示例和讨论不多
适用场景
- 研究者快速对比多个大模型在 ARC 抽象推理任务上的基线成绩
- 团队搭建内部模型评测管线时作为起点代码参考
- 教学或分享中演示抽象推理基准的评测方法与流程
替代项目
arcprize/ARC-AGI、openai/evals、EleutherAI/lm-evaluation-harness
同类项目推荐
giskard-oss
开源
给 LLM 应用做全面质检，上线前自动揪出漏洞和偏见
Open-Source Evaluation & Testing library for LLM Agents
Awesome-LLM-Red-Teaming
开源
一站式收集 LLM 红队测试资源，快速上手安全攻防
A curated list of awesome LLM Red Teaming training, resources, and tools.
llm-as-a-verifier
开源
给任意 agent 加个 LLM 裁判，不训练也能细粒度打分
LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback···
benchmark-qed
开源
自动跑分 RAG 系统，选型调参不再拍脑袋
Automated benchmarking of Retrieval-Augmented Generation (RAG) systems
SWE-bench_Pro-os
开源
用长周期工程任务，真实测出 AI Agent 的软件工程上限
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
awesome-RLHF
开源
一份清单，从入门到进阶搞定 RLHF 全部资源
A curated list of reinforcement learning with human feedback resources (continually ···
ActPlane
开源
用 eBPF 管住 AI Agent 的数据流，防泄露防乱来
eBPF Information Flow Enforcement for AI Agent safety, security and effectiveness
speech-to-text-benchmark
开源
一套脚本横评各家语音识别，选型不再靠猜
speech to text benchmark framework
xFinder
开源
用AI自动评估AI，让模型评测更可靠、更省力
[ICLR 2025] xFinder: Large Language Models as Automated Evaluators for Reliable Eval···