matharena

用最新数学竞赛题测大模型真实推理水平

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 评测安全 🍴 复刻 35 🐛 待处理 10 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 293
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

matharena 项目界面预览图
图片来源:项目官网

项目数据

分类评测安全
开发团队eth-sri
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言Python
技术栈/模型evaluating-models,llm
GitHub 星标★ 293
上线时间2025-02-12 00:00:00
代码更新2026-10-16
仓库体积3.1 MB
本站数据更新2026-10-23
维护状态活跃
收录时间2026-10-23
浏览次数0

项目介绍

MathArena 是一个面向大语言模型数学推理能力的评测项目,聚焦最新数学竞赛题目(如 AIME、HMMT 等)构建评测集与自动化评测流程。它解决的是现有数学基准逐渐饱和、题目被模型记忆污染、难以反映真实推理水平的问题,通过持续引入新发布的竞赛题,让评测更贴近模型未见过的新题场景。核心能力包括:整理最新竞赛题目并标准化为可评测格式;提供统一的答案提取与判分脚本,支持多种模型输出格式;可批量调用模型 API 完成端到端评测并汇总准确率。项目以 Python 实现,结构轻量,适合研究者快速复现和扩展新题目,也便于对比不同模型在同一批新题上的表现,为数学推理方向的模型选型与能力追踪提供参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 293

技术标签

llm

核心亮点

  • 持续引入最新竞赛题,降低训练数据污染带来的虚高分数
  • 提供统一答案提取与判分流程,减少人工核对成本
  • 代码轻量、结构清晰,便于自行添加新题目和模型接口

不足之处

  • 题目规模相对有限,单次评测统计波动较大
  • 依赖外部模型 API,评测成本与可复现性受接口变化影响

适用场景

  • 追踪新发布大模型在最新数学竞赛题上的推理表现
  • 对比不同模型在同一批未见过题目上的准确率
  • 为数学推理相关研究提供可复现的评测基线

替代项目

hendrycks/math、openai/grade-school-math、deepseek-ai/DeepSeek-Math

上一篇:lighteval

下一篇:LLM-Agent-Evaluation-Survey

同类项目推荐

awesome-security-for-ai 开源

一站式导航AI安全工具,快速选型不踩坑

Awesome products for securing AI systems includes open source and commercial options···

★ 91 2026-08-09
guidellm 开源

给 LLM 推理服务做真实压测,选型调优有数可依

Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

★ 1713 2026-10-14
promptmap 开源

给 LLM 应用做安全体检,防提示注入攻击

a security scanner for custom LLM applications

★ 1288 2026-08-09
Awesome-LVLM-Safety 开源

一页看懂视觉语言模型安全攻防与评测资源

A curated list of resources dedicated to the safety of Large Vision-Language Models.···

★ 223 2026-10-14
AgentEval 开源

用 .NET 原生工具,给 AI Agent 做全面体检和红队测试。

AgentEval is the comprehensive .NET toolkit for AI agent evaluation—tool usage vali···

★ 156 2026-08-10
napolab 开源

一站式对比葡萄牙语AI模型,掌握最新性能排名

The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···

★ 71 2026-08-09
RVCBench 开源

给语音克隆模型做安全体检,防伪造保隐私

Comprehensive voice cloning evaluation: seven automatic speech metrics and ready-to-···

★ 58 2026-08-09
awesome-rsi 开源

一张图看懂 AI 自我改进的研究版图

A curated research map of Recursive Self-Improvement (RSI): models, agents, harnesse···

★ 846 2026-09-30