项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 813
使用教程
环境要求
- Node.js 18+
- 一个模型 API Key
安装与启动步骤
-
1装 CLI
用来评估一个技能到底有没有让模型变强。
npm install agent-skills-eval -
2看用法
先跑 help 确认参数，别猜。
npx agent-skills-eval --help -
3指向技能目录
目录下每个子文件夹是一个含 SKILL.md 的技能。
npx agent-skills-eval ./skills -
4按配置跑评测
配置里指定 root 与 workspace，再用 eval-id 只跑一组。
OPENAI_API_KEY=... npx agent-skills-eval --config agent-skills-eval.yaml --eval-id basic
如何确认成功
终端输出每个用例的通过率，并能和「不带技能」的基线对比。
注意事项
- 它的价值是把「感觉有用」变成「数据上更有用」。
- workspace 会缓存中间产物，换技能后记得清。
核心亮点
- 基于 YAML 定义测试用例，上手简单，无需写代码
- 输出 JSONL 格式结果，方便后续分析和可视化
- 支持 OpenAI 兼容接口，可直接对接主流 LLM 服务
不足之处
- 文档/社区待观察
- 仅支持 OpenAI 兼容接口，对其他推理框架支持有限
适用场景
- 智能体技能开发中的回归测试
- CI/CD 流水线中自动评估技能质量
- 对比不同提示词或模型配置下的技能表现
替代项目
promptfoo、DeepEval、LangSmith
上一篇：AgentHound
下一篇：empirica
同类项目推荐
tribunal
开源
在 Elixir 里像写测试一样评测 LLM 输出
LLM evaluation framework for Elixir: evaluate and test LLM outputs, detect hallucina···
FuzzyAI
开源
自动给 LLM 做安全体检，找出越狱漏洞
A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···
MemoryAgentBench
开源
多轮对话里测 Agent 记不记得住、找不找得回
Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···
ai-privacy-toolkit
开源
给 AI 模型做隐私体检，快速发现合规风险
A toolkit for tools and techniques related to the privacy and compliance of AI model···
awesome-hallucination-detection
开源
大模型幻觉检测论文一网打尽，快速入门不迷路
List of papers on hallucination detection in LLMs.
openbench
开源
同一模型，不同封装，一测便知谁更省更快更准。
Same model, different wrapper: a from-scratch benchmark comparing coding-agent harne···
watchtower
开源
用 LLM 编排本地网站渗透测试，自动出报告
Watchtower - AI-powered penetration testing automation CLI tool that leverages LLMs ···
InjectRange
开源
用固定语料对比严格/宽松防护，量化提示注入漏检
Guard harness for prompt-injection corpora - six breach classes, corpus pinning and ···
vestige
开源
给AI智能体装黑匣子，每步操作可查可证
Think before doing, prove before saving. Vestige is the local-first cognitive operat···