ai-evals

用 Ruby 脚本跑 AI 模型评测，选型对比有据可依

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 评测安全 🍴 复刻 10 🐛 待处理 4 👀 关注 3
GitHub ↗
GitHub 星标 ★ 117
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，定价信息待确认

项目预览

ai-evals 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队rails
GitHubhttps://github.com/rails/ai-evals
定价模式🏷️完全免费
价格说明开源免费，定价信息待确认
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Ruby
GitHub 星标★ 117
上线时间2026-08-04 00:00:00
代码更新2026-10-15
仓库体积1.97 GB
本站数据更新2026-11-07
维护状态较活跃
收录时间2026-09-24
浏览次数2

项目介绍

ai-evals 是一个用 Ruby 编写的 AI 模型评测与基准测试工具集，目标是为开发者提供可复用的测试用例和评分逻辑，用来衡量大语言模型在各类任务上的表现。它解决的核心问题是：模型选型和上线前缺少统一、可重复的评测手段，导致只能凭感觉或零散脚本对比效果。项目把常见评测维度（如指令遵循、事实性、安全性等）整理成可运行的基准，通过 Ruby 脚本调用模型接口，输出可比较的分数与结果，方便团队在 CI 或本地反复执行。核心能力包括：内置多组评测任务、可扩展的评分器、对模型输出的结构化记录，以及便于二次开发的 Ruby 代码组织方式。适合想用轻量脚本快速搭建模型评测流程、又偏好 Ruby 生态的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-24 · 当前星标 ★ 117

核心亮点

  • 用 Ruby 实现，方便 Ruby 技术栈团队直接集成到现有项目
  • 提供可复用的评测任务与评分逻辑，减少从零写评测脚本的成本
  • 代码结构清晰，便于按需扩展自定义基准和评分器

不足之处

  • 项目早期仅 101 星，评测任务覆盖面和维护活跃度有待观察
  • Ruby 生态在 AI 评测领域相对小众，社区示例和第三方集成较少

适用场景

  • 模型选型时对比多个大模型在统一任务上的得分
  • 上线前把评测脚本接入 CI，防止模型或提示词改动导致效果回退
  • 团队内部搭建轻量评测流程，用 Ruby 复用已有工程能力

替代项目

openai/evals、EleutherAI/lm-evaluation-harness

上一篇：terminal-bench-science

下一篇：compute-eval

同类项目推荐

SpatialEval 开源

测出大模型空间推理真实水平，选模型不再靠猜

[NeurIPS'24] SpatialEval: a benchmark to evaluate spatial reasoning abilities of MLL···

★ 62 2026-08-09
hallucination-index 开源

测出哪个AI最会胡说八道，选模型不再踩坑

Initiative to evaluate and rank the most popular LLMs across common task types based···

★ 115 2026-08-09
bigcodebench 开源

用真实编程难题，测出大模型代码能力的真实天花板

[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI

★ 517 2026-08-09
KnowledgeEditingPapers 开源

一榜在手，快速掌握大模型知识编辑前沿论文

Must-read Papers on Knowledge Editing for Large Language Models.

★ 1256 2026-08-09
MisguidedAttention 开源

用误导性提示词，测出大模型推理的短板

A collection of prompts to challenge the reasoning abilities of large language model···

★ 489 2026-08-09
LettuceDetect 开源

定位 RAG 回答里哪句话没依据，span 级揪出幻觉

Span-level grounding verification for RAG, code, and tool-grounded AI outputs.

★ 620 2026-10-02
openbench 开源

同一模型，不同封装，一测便知谁更省更快更准。

Same model, different wrapper: a from-scratch benchmark comparing coding-agent harne···

★ 137 2026-08-10
Jailbreaker-CE 开源

本地跑越狱测试，快速发现聊天机器人安全漏洞

Jailbreaker is a local evaluation tool for testing chatbot and agent-style systems a···

★ 116 2026-09-14