evals

像写单测一样评测大模型，改提示词不再靠感觉

evals 是一个用 TypeScript 编写的开源评测框架，目标是让开发者像写单元测试一样编写和运行大模型（LLM）的评测。它解决的核心问题是：大模型输出具有随机性，传统断言难以直接套用，团队缺少统一、可复现的方式来衡量提示词、模型或参数改动的效果。项目提供评测用例定义、批量运行、结果对比与打分等能力，支持把评测接入日常开发流程，在改动提示词或切换模型时快速发现质量回退。由于是早期项目，星标数不高，但方向明确，适合需要为 AI 应用建立回归测试与质量基线的团队参考或二次开发。

开源 freemium 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 136
维护状态 活跃
是否开源 是
定价模式 freemium

项目数据

分类评测安全
开发团队supabase
所属国家
官网地址https://supabase.com/evals
GitHubhttps://github.com/supabase/evals
定价模式freemium
价格说明开源免费，Supabase 云服务有免费额度及付费套餐
访问状态
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型
GitHub 星标★ 136
30天Star增速
HF 下载量
上线时间2026-04-30 00:00:00
最近更新2026-09-17 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-14
浏览次数0

使用教程

核心亮点

  • 用 TypeScript 定义评测用例，前端/Node 团队上手成本低
  • 把评测流程工程化，可在提示词或模型变更时做回归对比
  • 开源可自托管，便于接入现有 CI 与内部数据

不足之处

  • 项目处于早期，API 与功能可能不稳定
  • 生态与文档相对薄弱，缺少大规模社区验证

适用场景

  • 提示词迭代后跑回归评测，确认没有质量下降
  • 对比不同模型或参数在同一批用例上的表现
  • 把 LLM 评测接入 CI，作为发布前的质量门禁

替代项目

promptfoo、OpenAI Evals

项目介绍

evals 是评测安全领域的开源项目，由 supabase 开发，是 2026 年新上线的项目。

它收录于评测安全分类，该分类目前共有 448 个项目，GitHub 星标数为 136。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-17。开源免费，Supabase 云服务有免费额度及付费套餐。

它主要面向的使用场景是：提示词迭代后跑回归评测，确认没有质量下降。同类可对比的替代方案包括 promptfoo、OpenAI Evals。

上一篇：evals

下一篇：inspect_evals

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1518 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
Tracely-ai 开源

把生产事故变成回归测试，合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1403 2026-08-24