ai-safety 第 1 页
本站收录 96 个带「ai-safety」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)
iFixAiiFixAi 是一个面向 AI Agent 的独立审计工具,旨在快速回答 AI Agent 经济中最关键的问题:Agent 是否在按预期工作?它支持由人类或 A★ 45,738
AI-Infra-GuardAI-Infra-Guard 是一个全栈 AI 红队测试平台,旨在系统性评估和加固 AI 生态系统的安全性。它解决了 AI 应用从模型、代理、技能到基础设施各层★ 7,511
agent-governance-toolkit这是一个面向AI智能体的治理工具包,旨在解决自主AI代理在运行时缺乏安全管控和合规能力的问题。它围绕策略执行、零信任身份验证、执行沙箱和可靠性工程四大核心模块构★ 6,567
PyRITPyRIT 是微软开源的生成式 AI 风险识别工具,面向安全工程师和红队人员,用于主动发现大模型与生成式 AI 系统中的安全风险。它解决的是 AI 应用上线前缺★ 4,856
AISafetyHot-HubAISafetyHot-Hub 是一个面向 AI 安全领域的每日精选与论文清单仓库,以 Markdown、BibTeX 和 JSON 三种格式同步维护,方便研究★ 2,127
cc-safety-netcc-safety-net 是一个面向 AI 编码代理的安全防护工具,以 CLI 钩子形式在危险命令执行前进行拦截,防止 AI 代理误删代码、访问敏感文件或执行★ 2,044
valqorevalqore 是一个面向 AI 驱动云和 Kubernetes 运维的安全护栏框架。它解决的是当 AI 或自动化脚本直接操作云基础设施时,可能因误操作、权限过★ 1,822
safe-rlhfSafe RLHF 是一个基于安全强化学习的人类反馈对齐框架,旨在解决大模型价值对齐中的安全问题。传统 RLHF 通过人类反馈优化模型行为,但可能忽略安全约束,★ 1,624
uqlmUQLM 是一个专注于大语言模型(LLM)不确定性量化的 Python 包,源自 JMLR 2026 论文。它解决的核心问题是:LLM 在生成文本时经常产生幻觉★ 1,217
keystone-benchkeystone-bench 是一个面向临床决策支持的评测基准,基于 OpenAI 的 HealthBench 构建。它要解决的问题是:医疗问答里模型给出的答案★ 1,131
awesome-rsiawesome-rsi 是一个围绕“递归自我改进(RSI)”的精选研究地图,把散落在模型、智能体、执行框架、具身系统、自动化 AI 研发、评测基准与安全等方向的★ 1,020
AgentLensAgentLens 是一个基于区块链和可信执行环境(TEE)的去中心化 AI Agent 交易平台。它解决了 AI Agent 分发和变现缺乏信任与安全性的问题★ 1,014
gpt_jailbreak_status这是一个追踪 OpenAI GPT 语言模型越狱状态的开源项目,旨在实时更新 GPT 系列模型(如 ChatGPT)被越狱(即绕过安全限制)的进展。项目以 HT★ 931
factcircuitFactCircuit 是一个面向事实核查与 LLM 评测的开源验证框架,核心是把「声明-证据」验证过程做成可审计的闭环。它针对大模型事实核查中证据来源不可追溯★ 927
h5ih5i 是一个面向编程代理(coding agents)的集成沙箱环境,用 Rust 编写。它解决了 AI 编程代理在开发过程中需要隔离、可复现的运行环境的问题★ 925
safelabs-evalsafelabs-eval 是一个面向 AI 智能体的红队测试与评测框架,核心目标是把 OWASP ASI(Agentic Security Initiativ★ 830
TracekitTracekit 是一个面向 AI Agent 的可审计追踪与安全控制工具,核心解决 Agent 执行过程不透明、行为难以追责的问题。它通过防篡改的追踪记录,把★ 726
awesome-llm-unlearning这是一个关于大语言模型机器遗忘(Machine Unlearning)的资源列表仓库,旨在系统整理该领域的前沿论文、基准数据集、评估指标和开源工具。它解决的核心★ 638
PostTrainBenchPostTrainBench 是一个用于评测命令行 AI 编程代理(如 Claude Code、Codex CLI、Gemini CLI)在单张 H100 GP★ 623
langtestLangTest 是一个专注于语言模型安全性与有效性的开源测试框架。它解决的是大语言模型在部署前缺乏系统性评估的问题,帮助开发者自动生成测试用例,覆盖模型在公平★ 561
ai_goodpracticeai_goodpractice 是一份面向所有水平用户的开源 AI 工作流整合指南,旨在解决「知道 AI 有用但不知道怎么系统用起来」的问题。它把 AI 融入日★ 556
boxBox 是一个用 Rust 编写的 AI 智能体沙箱工具,目标是解决智能体在本地执行时权限过大、可能误读文件、误写数据或访问恶意网络地址的安全隐患。它把操作系统★ 547
PromptInjectPromptInject 是一个用于评估大型语言模型(LLM)对对抗性提示攻击鲁棒性的开源框架。它通过模块化方式组装提示词,帮助研究者和开发者定量分析模型在面对★ 529
AegisAegis 是一个面向 AI 代理的运行时策略执行引擎,旨在解决 AI 代理在自主执行任务时缺乏安全管控的问题。它通过加密审计日志、人工审批(human-in-★ 523
cordumCordum 是一个面向 AI 智能体的“行动防火墙”,旨在为自主代理执行高风险操作前提供策略强制与人工审批机制。它解决的核心问题是:当 AI 代理被赋予调用工★ 510
prismorprismor 是一个自托管的 AI 智能体运行时控制平面,专注于在工具调用执行前提供安全防护。它解决了 AI 代理在自主执行过程中可能引发的安全问题,如秘密泄★ 493
ai-jailbreaks这是一个面向 AI 安全研究与红队测试的开源提示词集合,收录约 35 条可直接粘贴使用的越狱提示词,覆盖 25 个以上前沿闭源模型与开放权重模型。项目把提示词按★ 434
Prysai-LLM-Playbook这是一个以证据为导向、覆盖八种语言环境的 LLM 实战手册,旨在提供一套可迁移的核心方法论,并针对 Codex 旗舰路径以及 ChatGPT、Claude Co★ 433
tigerTiger 是一个开源的 LLM 工具包,旨在构建可信赖的大语言模型应用。它包含三个核心组件:TigerArmor 专注于 AI 安全,提供模型防护、提示注入检★ 404
rhesisRhesis 是一个面向 AI 团队的协作层基础设施,旨在连接领域专家与工程师,共同优化智能体(Agent)行为。它解决的核心问题是:AI 智能体的行为往往由工★ 404
reinsreins 是一个面向 AI Agent 的安全与可观测性工具,核心目标是阻止智能体执行用户未明确授权的操作。它通过拦截和审计 Agent 的工具调用与行为轨迹★ 393
JailbreakHubJailbreakHub 是一个面向大语言模型安全评测的开源研究资源库,主要收集和整理用于测试模型安全过滤机制的对抗性提示词与攻击样本。项目解决的核心问题是:安★ 373
orbitorbit 是一个自托管的 AI 网关,兼容 OpenAI API,专注于私有 RAG、自然语言数据访问和工具调用代理。它解决了企业在使用大模型时面临的数据隐私★ 364
CyberClawCyberClaw 是一个面向企业级场景的下一代透明智能体架构,基于 Python 构建。它旨在解决 AI 智能体在复杂任务执行中常见的不可控、不安全、记忆混乱★ 346
agent-controlagent-control 是一个面向大规模智能体运行时的集中式控制平面,旨在统一管理和治理智能体的行为。它解决的是企业在生产环境中部署多个AI智能体时,缺乏统★ 336
dynolabDyno Lab 是一个面向 Apple Silicon 的 AI 安全、对齐与可解释性研究工作台,用 Swift 编写,底层基于 MLX 做本地推理。它解决的★ 331
rust-docs-mcp-serverrust-docs-mcp-server 是一个基于 Rust 的 MCP(模型上下文协议)服务器,旨在解决 AI 编程助手(如 Copilot、Cursor ★ 301
floe-guardfloe-guard 是一个为 AI 语音代理设计的开源成本计量与预算控制工具。它解决了语音代理在调用语音识别(STT)、语音合成(TTS)、大语言模型(LLM★ 289
awesome-agent-skills-security这是一个聚焦 AI Agent 技能(Skill)与工具调用安全的资源合集项目,系统整理了攻击手法、防御方案、安全框架与评测基准。随着 Agent 通过 MCP★ 288
martin-loopmartin-loop 是一个面向 AI 编码代理的运行时控制平面,用 TypeScript 编写。它要解决的问题是:当你让 Claude Code、Codex★ 286
OpenRTOpenRT 是一个面向多模态大语言模型(MLLMs)的开源红队测试框架,内置 42 种以上的攻击方法,覆盖提示注入、越狱、对抗性样本等常见安全威胁。它旨在解决★ 281
wrench-boardwrench-board 是一个由 Claude Opus 5 驱动的智能体项目,旨在将资深微焊接技术专家的经验数字化,为从资深维修师到学徒的每一位维修人员提供★ 266
anywhere-agentsanywhere-agents 是一个旨在统一管理 AI 编程助手的开源项目,通过单一配置文件(如 agents.md)为所有 AI 代理提供便携、高效且安全的★ 261
langfairLangFair 是一个用于大语言模型(LLM)偏见与公平性评估的 Python 库,专注于用例级别的评估。它解决了当前 LLM 应用中缺乏系统化、可操作公平性★ 261
dsh-auto-reviewdsh-auto-review 是一个面向 DeepSeek Harness 审批流程的 AI 自动审查插件,属于评测安全领域。它解决的是人工审批效率低和单一模★ 249
governGovern 是一个基于 GitHub Actions 的 AI 治理与合规门禁工具,核心是让开发团队在 CI/CD 流程中对关键步骤(如部署、发布、基础设施变★ 247
Doberman-CoreDoberman-Core 是一个面向 AI 智能体的安全框架,专注于解决 LLM 应用中的安全防护问题。它提供提示注入防御、运行时策略执行、工具调用权限控制、★ 244
Doberman-CoreDoberman-Core 是一个面向 AI 代理的运行时安全防护库,定位为“AI 的看门狗”。它解决的是 LLM 应用在输入、输出和工具调用环节缺乏实时管控的★ 243
humanboundHumanbound 是一个开源的对抗性测试引擎,为 AI 智能体提供 SDK 和命令行工具,用于发现和修复智能体中的安全漏洞与逻辑缺陷。它解决的核心问题是:A★ 239
awesome-ai-safety这是一个精心整理的AI安全与质量领域的论文和技术文章列表,旨在为研究人员、工程师和政策制定者提供系统性的学习资源。项目解决了AI安全领域信息分散、难以快速入门的★ 228