SkillEvaluator

给 Agent 技能做体检:查冲突、测安全、验效果

开源 unknown 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 561
维护状态 活跃
是否开源 是
定价模式 unknown

项目预览

项目数据

分类评测安全
开发团队NVIDIA
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-evaluation,agent-security,agent-skills,agentic-ai,benchmark,claude-code,codex,evaluate,evaluation,security-scanner,skill-eval,skill-evals,skill-evaluation,skill-evaluator,skills
GitHub 星标★ 561
30天Star增速
HF 下载量
上线时间2026-06-24 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-13
浏览次数0

项目介绍

SkillEvaluator 是一个面向 AI Agent 技能(skills)的多层级评测框架,目标是回答一个实际问题:你给 Agent 装的技能到底有没有用、安不安全、会不会互相冲突。它通过质量门禁(quality gates)对技能做静态检查,用语义重叠检测发现多个技能之间的功能重复或指令冲突,还能自动生成合成评测数据集,避免人工造数据的成本。更关键的是它支持实时 Agent 评测,把技能加载进真实 Agent 后观察行为变化,量化技能对 Agent 决策和输出的影响。项目同时覆盖 agent-security 扫描,可识别技能中潜在的危险指令或越权操作。技术栈为 Python,适配 Claude Code、Codex 等主流 Agent 环境,适合在技能上架前做准入评估,或在技能迭代后做回归对比。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 提供质量门禁与语义重叠检测,能在技能上线前发现功能重复和指令冲突
  • 支持合成评测数据集生成,降低人工构造测试用例的成本
  • 可对真实 Agent 做实时评测,量化技能对 Agent 行为的影响而非只看静态指标

不足之处

  • 项目处于早期阶段,生态和文档完善度有待观察
  • 实时 Agent 评测依赖具体 Agent 环境,跨平台兼容性可能受限

适用场景

  • 技能市场上架前做准入评估,筛掉低质或冲突技能
  • 团队内部技能迭代后做回归评测,确认行为没有退化
  • 安全团队批量扫描第三方 Agent 技能,排查潜在风险指令

替代项目

promptfoo、DeepEval

上一篇:AssetOpsBench

下一篇:claw-swe-bench

同类项目推荐

hanshuang-codex 开源

桌面端批量测大模型越狱提示,一键跑实验看边界

针对GPT 6.0,workbuddyV4.1flash的破甲实验项目

★ 1110 2026-09-28
akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1528 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 3007 2026-09-12