项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 150
核心亮点
- 用 TypeScript 定义评测用例，前端/Node 团队上手成本低
- 把评测流程工程化，可在提示词或模型变更时做回归对比
- 开源可自托管，便于接入现有 CI 与内部数据
不足之处
- 项目处于早期，API 与功能可能不稳定
- 生态与文档相对薄弱，缺少大规模社区验证
适用场景
- 提示词迭代后跑回归评测，确认没有质量下降
- 对比不同模型或参数在同一批用例上的表现
- 把 LLM 评测接入 CI，作为发布前的质量门禁
替代项目
promptfoo、OpenAI Evals
上一篇：evals
下一篇：inspect_evals
同类项目推荐
llm_chess
开源
让大模型下棋，测出推理和守规则的真实水平
LLM Chess - evaluating Large Language Models' reasoning and instruction-following ab···
evaluation-guidebook
开源
学透 LLM 评估，避开 benchmark 陷阱，科学选模型。
Sharing both practical insights and theoretical knowledge about LLM evaluation that ···
awesome-gpt-6-astra
开源
一份清单，带你安全玩转GPT-6 Astra的实战用例与提示词。
Evidence-backed use cases, prompts, integrations, evaluations, and safety notes for ···
Awesome-LLM-Compression
开源
大模型压缩论文与工具一站索引，快速选型落地
Awesome LLM compression research papers and tools.
open-bias
开源
给 AI Agent 加一道策略防火墙，违规请求当场拦截
Open Source policy enforcement proxy: Make your agents follow rules.
Robust-U1
开源
让多模态模型自己修复坏图，理解不翻车
[ICML 2026] Official Implementation of Robust-U1: Can MLLMs Self-Recover Corrupted V···
napolab
开源
一站式对比葡萄牙语AI模型，掌握最新性能排名
The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···
MIND
开源
测测你的视频生成模型，记忆和动作控制靠不靠谱
The first open-domain closed-loop revisited benchmark for evaluating memory consiste···
context-bombs
开源
用现成的攻击字符串，测出你的 AI 系统抗不抗揍。
Context bomb strings