项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-05 · 当前星标 ★ 163
核心亮点
- 用 Go 编写，编译为单一二进制，部署和 CI 集成成本低
- 评测任务通过配置定义，改用例不用改代码，便于批量维护
- 面向 Agent 行为评测，覆盖输入样本到结果汇总的完整流程
不足之处
- 项目处于早期，接口与配置格式可能频繁变动
- 星标与社区规模小，文档和示例丰富度有待观察
适用场景
- Agent 提示词或工具调用逻辑改动后的回归评测
- 模型版本切换时对比新旧版本在固定用例集上的表现
- 在 CI 中接入自动化评测，拦截效果明显下降的提交
替代项目
promptfoo、OpenAI Evals、DeepEval
上一篇：grim-prompter
下一篇：hawk
同类项目推荐
confabulations
开源
测出RAG系统胡说八道，用人工验证问答对量化幻觉
Hallucinations (Confabulations) Document-Based Benchmark for RAG. Includes human-ver···
ClawProBench
开源
在真实 OpenClaw 里反复跑 Agent，用确定性打分比出谁更稳
ClawProBench is a live-first benchmark harness for evaluating LLM agents in the Op···
ai-rag-chat-evaluator
开源
给 RAG 问答打分，量化回答质量再上线
Tools for evaluation of RAG Chat Apps using Azure AI Evaluate SDK and OpenAI
gpt_jailbreak_status
开源
追踪 GPT 越狱动态，掌握 AI 安全薄弱点
This is a repository that aims to provide updates on the status of jailbreaking the ···
agent-audit
开源
给 AI 智能体做安全体检，防提示注入和配置漏洞
Static security scanner for LLM agents — prompt injection, MCP config auditing, tai···
torch-fidelity
开源
PyTorch 生成模型指标，数值对齐可复现
High-fidelity performance metrics for generative models in PyTorch
Doberman-Core
开源
运行时拦截 AI 的每个动作，防止危险操作执行
Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···
promptmap
开源
给 LLM 应用做安全体检，防提示注入攻击
a security scanner for custom LLM applications
Woodpecker
开源
给多模态模型装上纠错器，让AI描述图片不再瞎编。
✨✨Woodpecker: Hallucination Correction for Multimodal Large Language Models