safelabs-eval

给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞

开源 🏷️定价信息待确认 ⚠️ 链接可跳转，访问体验不确定评测安全 🍴 复刻 104 🐛 待处理 3 👀 关注 15

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1022

维护状态较活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

safelabs-eval 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类评测安全

开发团队AgentSafeLabs

官网地址https://agentsafelabs.com

GitHubhttps://github.com/AgentSafeLabs/safelabs-eval

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态⚠️ 链接可跳转，访问体验不确定

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent-security,ai-safety,crewai,evaluation,jailbreak,langchain,llm-security,owasp,prompt-injection,red-teaming

GitHub 星标★ 1022

上线时间2026-05-25 00:00:00

代码更新2026-10-25

仓库体积7.2 MB

本站数据更新2026-11-04

维护状态较活跃

收录时间2026-09-11

浏览次数2

项目介绍

safelabs-eval 是一个面向 AI 智能体的红队测试与评测框架，核心目标是把 OWASP ASI（Agentic Security Initiative）提出的安全风险清单落地成可执行的自动化测试。它针对智能体在真实任务中可能遭遇的提示注入、越狱、工具滥用、权限越界、数据泄露等问题，提供一套结构化的攻击用例与评测流程，帮助开发者在部署前发现漏洞。框架与 LangChain、CrewAI 等主流智能体编排库集成，可直接对已有 agent 发起对抗性输入并收集行为结果，输出可比较的安全评分。相比零散的手工测试，它把攻击场景、判定标准和报告流程标准化，让安全评测从一次性检查变成可回归的工程环节。项目用 Python 编写，处于早期阶段，适合安全团队和智能体开发者做上线前的风险摸底与持续监控。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-11 · 当前星标 ★ 1022

技术标签

agent-security ai-safety crewai evaluation jailbreak

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：本地 (Python) 3 步

安装与启动步骤

1安装

pip install safelabs-eval，要求 Python 3.11+。
2CLI 运行

safelabs run --target http://localhost:8000/chat --category all，发送 300 条对抗性提示并打分。
3Python 调用

使用 LangChainAdapter / CrewAIAdapter / AutoGenAdapter 等包装你的 Agent，再 run_eval。