vitest-evals

用 Vitest 写 LLM 评测，像跑单测一样跑模型回归

vitest-evals 是一个把大模型评测（evals）直接嵌入 Vitest 测试框架的 TypeScript 扩展。它解决的问题是：传统上跑 LLM 评测要另起一套脚本、单独管理数据集和评分逻辑，和项目现有的测试流程割裂。这个项目让你用熟悉的 describe/it/expect 写法定义评测用例，把模型输出当作断言对象，从而复用 Vitest 的并行执行、watch 模式、报告器和 CI 集成。核心能力包括：在测试文件中声明评测任务、对模型回答做结构化断言、支持打分函数与阈值判断，并借助 Vitest 生态输出可读的通过/失败结果。它适合已经在用 Vitest 的前端或 Node 团队，用最低迁移成本给提示词、模型版本或 RAG 链路建立回归测试，把评测变成日常开发的一部分，而不是上线前临时补的一次性工作。