EvalForge

给 AI 评测加回归门禁，指标一降 CI 就拦。

EvalForge 是一个面向 AI/LLM 应用的评测与质量门禁工具，用 Python 编写。它解决的核心问题是：团队在 CI 中评测模型或 RAG 系统时，评测结果往往依赖特定框架、难以对比、也无法自动阻断回归。EvalForge 把评测结果抽象为「评测器中立」的证据格式，不绑定某个评测库，任何评测器产出的结果都能统一收集。它提供基线回归门禁，把当前结果与历史基线比较，一旦指标下降就按阈值让 CI 失败，防止悄悄退化。输出支持 JSON、JUnit 和 SARIF 三种格式，JUnit 可直接接入常见 CI 测试报告，SARIF 能被 GitHub Code Scanning 等安全/质量平台消费，把评测失败像代码缺陷一样展示。整体定位是 MLOps 流水线里的评测证据层与质量闸门，适合需要把 LLM 评测纳入 GitHub Actions 等持续集成流程的团队。