vitest-evals
用 Vitest 写 LLM 评测，像跑单测一样跑模型回归
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 361
核心亮点
- 直接复用 Vitest 的 describe/it/expect 与并行执行，评测用例和单元测试同仓库同命令运行
- 支持 watch 模式与报告器，改提示词后能立刻看到哪些评测挂掉，迭代反馈快
- 对已有 Vitest 项目近乎零迁移成本，不需要引入独立的评测平台或额外服务
不足之处
- 项目仍处早期，星标 342，API 和文档可能随版本变动
- 评测数据集管理、打分器生态和可视化对比能力相对薄弱，复杂评测需自行补齐
适用场景
- 给提示词模板做回归测试，防止改一处措辞导致其他场景回答退化
- 在 CI 中对不同模型版本跑同一批评测用例，用通过率决定是否切换模型
- RAG 或 Agent 链路开发时，把检索质量和最终回答质量一起纳入测试套件
替代项目
promptfoo、braintrust
上一篇：workshop
下一篇：convex-evals
同类项目推荐
AICompare
开源
一键同时打开多个 AI 站点，对比回答效率翻倍
one click to open multi AI sites ｜ 一键打开多个 AI 站点，查看 AI 结果
GenExam
开源
用跨学科考题给文生图模型打分，测出真实知识水平。
[ICML 2026] GenExam: A Multidisciplinary Text-to-Image Exam
spelltest
开源
用 AI 模拟用户，自动测试你的 LLM 应用，提前发现坑
AI-to-AI Testing | Simulation framework for LLM-based applications
heretic
开源
一键去除模型审查，解锁无限制回答
Training-free language model modification: Remove censorship, suppress slop, reduce ···
eva
开源
一套框架，全面衡量语音代理表现，快速定位短板。
A New End-to-end Framework for Evaluating Voice Agents
dep-scan
开源
扫依赖和镜像，查漏洞与许可证风险，出 SBOM
OWASP dep-scan is a next-generation security and risk audit tool based on known vuln···
beir
开源
一个平台，跑遍15+检索数据集，看清模型真实力。
A Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your mode···
chinese-llm-benchmark
开源
看中文大模型谁最强，查百万缺陷库避坑
非线智能 NoneLinear - ReLE评测：中文AI大模型能力评测（持续更新）：目前已囊括374个大模···
PromptInject
开源
模块化组装提示词，量化评估LLM对抗攻击的鲁棒性。
PromptInject is a framework that assembles prompts in a modular fashion to provide a···