项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 98
核心亮点
- YAML 配置测试用例，无需写代码即可定义复杂测试场景，上手门槛低。
- 专为 CI 设计，可无缝集成到 GitHub Actions 等流水线，实现每次提交自动回归测试。
- 支持 LLM、RAG、聊天机器人多种类型，覆盖主流 AI 应用测试需求。
不足之处
- 项目处于早期阶段，文档和社区生态尚待完善。
- 测试评估的准确性和可靠性依赖底层模型，可能受模型波动影响。
适用场景
- 在 CI 流水线中自动检测 LLM 回答的准确性和安全性，防止回归。
- 针对 RAG 系统，验证检索内容与生成答案的一致性，确保引用正确。
- 对聊天机器人进行多轮对话测试，检查上下文理解和响应质量。
替代项目
Promptfoo、DeepEval、Ragas
同类项目推荐
LLMEvaluation
开源
选对 LLM 评测方法，少走弯路
A comprehensive guide to LLM evaluation methods designed to assist in identifying th···
openai-guardrails-python
开源
给 LLM 应用加一层安全护栏，自动拦截违规输入输出
OpenAI Guardrails - Python
Tracely
开源
把生产事故变成 CI 回归测试，自动拦截坏 PR
Trace-native CI/CD for AI agents — production failures become regression tests that···
LettuceDetect
开源
定位 RAG 回答里哪句话没依据，span 级揪出幻觉
Span-level grounding verification for RAG, code, and tool-grounded AI outputs.
Video-MME
开源
测一测你的多模态模型，视频理解能力到底行不行
✨✨[CVPR 2025] Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Mult···
inspect_evals
开源
一行命令跑齐大模型能力与安全评测
Collection of evals for Inspect AI
rageval
开源
给RAG系统打分，快速找出效果短板
Evaluation tools for Retrieval-augmented Generation (RAG) methods.
CRUD_RAG
开源
测一测你的RAG系统，中文场景下到底行不行
CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of La···
dodoguard
开源
给 AI Agent 加一道全流程安全护栏，防注入防越权
DodoGuard: Take AI Agents to Production. Test, validate, and operate AI Agents befor···