Oversight 是评测安全领域的开源项目，由 user1342 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 55。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-27。GPL-3.0许可，完全免费，需自行部署。
它主要面向的使用场景是：大模型上线前的安全审计与红队演练。同类可对比的替代方案包括 Garak、PyRIT、TextAttack。
Oversight
模块化拆解 LLM，自动红队测试，发现漏洞
Oversight 是一个完全模块化的 LLM 逆向工程、红队测试与漏洞研究框架。它主要面向安全研究人员和 AI 开发者，解决大语言模型在部署后缺乏系统性安全评估工具的问题。其核心能力包括：对目标 LLM 进行黑盒或白盒的逆向分析，识别模型内部机制与潜在弱点；提供可插拔的模块化设计，支持自定义攻击向量、探测策略和数据分析流程；内置多种红队测试模板，可自动化生成对抗性输入，测试模型在提示注入、越狱、数据泄露等场景下的鲁棒性。该框架强调灵活性与扩展性，用户可组合不同模块构建定制化安全评估流水线，适用于模型上线前的安全审计、漏洞挖掘以及 AI 安全研究。
开源
free
开源模型
GitHub 星标
★ 55
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队user1342
所属国家
定价模式free
价格说明开源框架，GPL-3.0许可，完全免费，需自行部署。
访问状态
是否开源是
开源协议GPL-3.0
主要语言Python
技术栈/模型ai,artificial-intelligence,large-language-models,llm,machine-learning,ml,red-teaming,security,vulnerability-scanners
GitHub 星标★ 55
30天Star增速
HF 下载量
上线时间2024-11-05 00:00:00
最近更新2026-05-27 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 模块化架构，可灵活组合攻击与探测模块，适配多种测试场景
- 专注逆向工程与漏洞研究，填补 LLM 安全评估工具空白
- 基于 Python，易于扩展和集成到现有安全工具链
不足之处
- 项目处于早期，文档与社区支持尚不完善
- 实际攻击效果依赖目标模型，可能缺乏通用性
适用场景
- 大模型上线前的安全审计与红队演练
- 研究 LLM 内部机制与对抗性攻击原理
- 构建企业级 AI 安全测试平台
替代项目
Garak、PyRIT、TextAttack
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.