项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 193
核心亮点
- 评测器中立，不绑定 LangSmith、Ragas 等具体框架，已有评测结果可统一接入
- 基线回归门禁可配置阈值，指标退化直接让 CI 失败，防止悄悄变差
- 同时输出 JSON、JUnit、SARIF，能接入 GitHub Code Scanning 和常见 CI 报告面板
不足之处
- 项目较早期，星标仅 188，生态集成和长期维护稳定性待观察
- 自身不提供评测数据集或评测算法，需配合外部评测器使用
适用场景
- 在 GitHub Actions 中为 LLM 应用跑评测并阻断指标回归
- RAG 系统迭代时对比新旧版本回答质量，生成 SARIF 报告到代码扫描
- 把已有评测框架的输出统一成 JUnit，接入现有 CI 测试报告
替代项目
promptfoo、DeepEval、Ragas
下一篇：AI-Surface
同类项目推荐
ai-dfir-toolkit
开源
给 AI 系统装上开箱即用的入侵检测规则
A vendor-neutral collection of Sigma, YARA, and Suricata rules for detecting comprom···
arksim
开源
模拟真实用户对话，上线前自动揪出智能体错误。
Find your agents errors be fore your real users do
VibeSearchBench
开源
专治搜索系统'听不懂人话'，用200个模糊任务测出真实力
The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-h···
awesome-data-contamination
开源
查论文，避坑LLM评估数据污染
The Paper List on Data Contamination for Large Language Models Evaluation.
AttackVLM
开源
给视觉语言模型找茬，一键测出安全漏洞
[NeurIPS, 500+ Citations!] Alignment & Safety for multimodal foundation models
alpaca_eval
开源
自动评估指令跟随模型，快、便宜、且靠谱。
An automatic evaluator for instruction-following language models. Human-validated, h···
awesome-rsi
开源
一张图看懂 AI 自我改进的研究版图
A curated research map of Recursive Self-Improvement (RSI): models, agents, harnesse···
www-project-agent-memory-guard
开源
给AI智能体记忆加把锁，防投毒防操控
Runtime defense against memory poisoning in AI agents (OWASP ASI06). Drop-in for Lan···
fusion_bench
开源
一站式评估和实现深度模型融合，快速对比多种融合算法效果
FusionBench: A Comprehensive Benchmark/Toolkit of Deep Model Fusion