项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 3086
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Python 环境(README 未指定具体版本,本项目为 Python 编写)
- 可用的 pip 包管理工具
- 安装后需自行定义 model_callback(README 明确要求)
- 能访问外网以下载 PyPI 依赖与查阅官网文档
安装与启动步骤
-
1检查Python环境
确认本机已装 Python 与 pip,Python 版本要求 README 未明确,建议使用较新的 Python 3。
python --version -
2安装deepteam
README 给出的唯一安装命令,-U 表示升级到最新版本;建议先创建虚拟环境隔离依赖。
pip install -U deepteam -
3验证安装成功
尝试导入 deepteam 包,无报错即说明包已正确安装到当前 Python 环境。
python -c "import deepteam" -
4定义model_callback
README 强调:不需要先声明被测试的 LLM 系统,但必须定义 model_callback 把攻击样本送进模型。README 节选未给代码示例。
-
5查阅官方文档
README 的 QuickStart 之外还需要攻击、漏洞等具体用法,请以官网文档为准,README 节选未包含完整代码。
如何确认成功
执行 python -c "import deepteam" 不报 ModuleNotFoundError,即表示安装成功,可再按官网文档接入 model_callback 验证。
常见问题
Q:使用前必须先定义被测试的 LLM 系统吗?
A:不需要。README 明确说明 DeepTeam 不要求你定义正在红队测试的 LLM 系统,只需安装 deepteam 并定义一个 model_callback 即可开始。
Q:安装完就能直接跑红队测试吗?
A:还需要自己编写 model_callback 等调用代码。README 节选只提供了安装命令与概念说明,完整可运行示例请查阅官网文档 trydeepteam.com。
Q:要测试哪些风险项、用哪些攻击方式?
A:README 提到内置提示注入、越狱、角色扮演、编码混淆等攻击方式,以及漏洞与功能章节,具体配置需参考官网文档的相应章节。
注意事项
- README 节选仅包含 pip install -U deepteam 一条安装命令,其余用法(含 model_callback 写法)以官网文档为准,不要自行猜测参数。
- 建议在虚拟环境(venv/conda)中安装,避免与现有项目的依赖版本冲突。
- 该项目可用于在发布前发现 LLM/Agent 的安全短板,并可配合 llm-guardrails 类防护组件形成攻防闭环。
- 对真实业务模型做红队测试前,请确认已获得授权并遵守目标模型服务的使用条款。
核心亮点
- 内置多种攻击策略(提示注入、越狱、编码混淆等),开箱即可对模型批量发起红队测试
- 提供自动化评估流程,能对模型响应是否违规打分,减少人工逐条审核成本
- 面向 LLM 与 AI Agent 双场景,支持多轮对话和工具调用类应用的对抗测试
不足之处
- 攻击用例和评估指标的覆盖面仍在演进,复杂业务场景可能需要自行扩展
- 作为成长中项目,中文文档与社区案例相对有限,上手依赖英文资料
适用场景
- 大模型应用上线前的安全合规自查
- AI Agent 工具调用链路的安全渗透测试
- 安全团队对自研模型做定期红队演练
替代项目
garak、PyRIT、promptfoo
上一篇:AI-Surface
下一篇:agent-scan
同类项目推荐
GenAI-LLM-Top10
开源
对照 OWASP 清单,快速排查大模型应用安全风险
OWASP Top 10 for Large Language Model Applications
heurigym
开源
用 LLM 设计优化算法,一键评测智能体启发式能力
Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization (ICLR'26)
Synthid-Bypass
开源
实测绕过 Google SynthID 水印,AI 图像溯源攻防参考
Ai safety research showing a working bypass to Google's synthid on Nano Banana Pro
verifywise
开源
一站式搞定 AI 合规审计,轻松应对欧盟 AI 法案等 20+ 法规。
Complete AI governance and LLM Evals platform with support for EU AI Act, ISO 42001,···
guardrails
开源
给大模型输出装上安全阀,让生产更可靠
Adding guardrails to large language models.
Awesome-AIGC-Image-Video-Detecti···
开源
一页看全 AIGC 图像视频检测论文、数据集与基准
A curated collection of the latest research and resources on AI-Generated Image and ···
torch-fidelity
开源
PyTorch 生成模型指标,数值对齐可复现
High-fidelity performance metrics for generative models in PyTorch
exploitgym
开源
用真实漏洞测 AI 能不能写出能跑的利用代码
ExploitGym is a large-scale, realistic benchmark built from real-world vulnerabiliti···
VibeSearchBench
开源
专治搜索系统'听不懂人话',用200个模糊任务测出真实力
The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-h···
