ai-evals 是评测安全领域的开源项目，由 rails 开发，是 2026 年新上线的项目。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 101。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。开源免费。
它主要面向的使用场景是：模型选型时对比多个大模型在统一任务上的得分。同类可对比的替代方案包括 openai/evals、EleutherAI/lm-evaluation-harness。
ai-evals
用 Ruby 脚本跑 AI 模型评测，选型对比有据可依
ai-evals 是一个用 Ruby 编写的 AI 模型评测与基准测试工具集，目标是为开发者提供可复用的测试用例和评分逻辑，用来衡量大语言模型在各类任务上的表现。它解决的核心问题是：模型选型和上线前缺少统一、可重复的评测手段，导致只能凭感觉或零散脚本对比效果。项目把常见评测维度（如指令遵循、事实性、安全性等）整理成可运行的基准，通过 Ruby 脚本调用模型接口，输出可比较的分数与结果，方便团队在 CI 或本地反复执行。核心能力包括：内置多组评测任务、可扩展的评分器、对模型输出的结构化记录，以及便于二次开发的 Ruby 代码组织方式。适合想用轻量脚本快速搭建模型评测流程、又偏好 Ruby 生态的团队。
开源
free
评测安全
GitHub 星标
★ 101
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类评测安全
开发团队rails
所属国家
定价模式free
价格说明开源免费，定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言Ruby
技术栈/模型
GitHub 星标★ 101
30天Star增速
HF 下载量
上线时间2026-08-04 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-24
浏览次数0
使用教程
核心亮点
- 用 Ruby 实现，方便 Ruby 技术栈团队直接集成到现有项目
- 提供可复用的评测任务与评分逻辑，减少从零写评测脚本的成本
- 代码结构清晰，便于按需扩展自定义基准和评分器
不足之处
- 项目早期仅 101 星，评测任务覆盖面和维护活跃度有待观察
- Ruby 生态在 AI 评测领域相对小众，社区示例和第三方集成较少
适用场景
- 模型选型时对比多个大模型在统一任务上的得分
- 上线前把评测脚本接入 CI，防止模型或提示词改动导致效果回退
- 团队内部搭建轻量评测流程，用 Ruby 复用已有工程能力
替代项目
openai/evals、EleutherAI/lm-evaluation-harness
项目介绍
下一篇：compute-eval
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···