Oversight

模块化拆解 LLM,自动红队测试,发现漏洞

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 2 🐛 待处理 1 👀 关注 2
GitHub ↗
GitHub 星标 ★ 55
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源框架,GPL-3.0许可,完全免费,需自行部署。

项目预览

Oversight 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队user1342
定价模式🏷️完全免费
价格说明开源框架,GPL-3.0许可,完全免费,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议GPL-3.0
主要语言Python
技术栈/模型ai,artificial-intelligence,large-language-models,llm,machine-learning,ml,red-teaming,security,vulnerability-scanners
GitHub 星标★ 55
上线时间2024-11-05 00:00:00
代码更新2024-11-09
仓库体积12.6 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Oversight 是一个完全模块化的 LLM 逆向工程、红队测试与漏洞研究框架。它主要面向安全研究人员和 AI 开发者,解决大语言模型在部署后缺乏系统性安全评估工具的问题。其核心能力包括:对目标 LLM 进行黑盒或白盒的逆向分析,识别模型内部机制与潜在弱点;提供可插拔的模块化设计,支持自定义攻击向量、探测策略和数据分析流程;内置多种红队测试模板,可自动化生成对抗性输入,测试模型在提示注入、越狱、数据泄露等场景下的鲁棒性。该框架强调灵活性与扩展性,用户可组合不同模块构建定制化安全评估流水线,适用于模型上线前的安全审计、漏洞挖掘以及 AI 安全研究。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 55

核心亮点

  • 模块化架构,可灵活组合攻击与探测模块,适配多种测试场景
  • 专注逆向工程与漏洞研究,填补 LLM 安全评估工具空白
  • 基于 Python,易于扩展和集成到现有安全工具链

不足之处

  • 项目处于早期,文档与社区支持尚不完善
  • 实际攻击效果依赖目标模型,可能缺乏通用性

适用场景

  • 大模型上线前的安全审计与红队演练
  • 研究 LLM 内部机制与对抗性攻击原理
  • 构建企业级 AI 安全测试平台

替代项目

Garak、PyRIT、TextAttack

上一篇:MixEval

下一篇:SelfAware

同类项目推荐

MathVista 开源

测测AI看图算数行不行,一套基准见分晓

MathVista: data, code, and evaluation for Mathematical Reasoning in Visual Contexts

★ 367 2026-08-09
Fintech-CUI-Trust-Framework 开源

给金融AI划清权限红线,让对话代理合规又可控

An open-source engineering governance standard defining trust boundaries for convers···

★ 175 2026-08-10
evals 开源

给 AI Agent 做统一考试,改一版测一版

A comprehensive evaluation framework for AI agents and LLM applications.

★ 252 2026-09-14
TravelPlanner 开源

测测你的AI会不会做旅行攻略,一测便知规划能力

[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···

★ 569 2026-08-09
ollama-grid-search 开源

本地 Ollama 模型批量跑评测,网格对比一键出结果

A multi-platform desktop application to evaluate and compare LLM models, written in ···

★ 958 2026-09-16
hackagent 开源

给 AI 智能体做安全体检,提前发现漏洞防攻击

HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Ag···

★ 535 2026-08-09
MIND 开源

测测你的视频生成模型,记忆和动作控制靠不靠谱

The first open-domain closed-loop revisited benchmark for evaluating memory consiste···

★ 81 2026-08-09
Impossible-Videos 开源

用不可能视频,测出多模态模型的物理常识短板

ICML 2025 - Impossible Videos

★ 82 2026-08-09