ai-safety 第 2 页
本站收录 87 个带「ai-safety」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）
XSafeClawXSafeClaw 是复旦大学开源的多智能体安全评测平台，专注于检测和防御针对 LLM 智能体的安全威胁。它解决的核心问题是：随着 Agent 被赋予工具调用和★ 166
vLLM-HookvLLM-Hook 是一个针对 vLLM 推理引擎的插件，允许开发者编程访问和修改模型在推理过程中的内部状态。它解决了 vLLM 默认黑盒推理、难以干预中间层输★ 165
ai-driven-development这是一个关于AI驱动软件开发的实践指南与技能集，旨在帮助开发者高效、安全地使用AI编程助手。项目针对Claude Code、Codex、OpenCode、Cur★ 163
dynolabDyno Lab 是一个面向 Apple Silicon 的 AI 安全、对齐与可解释性研究工作台，用 Swift 编写，底层基于 MLX 做本地推理。它解决的★ 163
Cognitive-Core-Skills这是一个面向大模型、小模型、AI智能体及世界模型的认知核心技能通用分类体系。它不依赖特定行业，提供了一套涵盖感知、记忆、推理、规划、行动、验证、学习和治理等八大★ 158
Awesome-Embodied-AI-Safety这是一个关于具身AI安全领域的综述性开源项目，汇集了500多篇相关论文，系统梳理了具身AI在感知、认知、规划、交互和智能体系统等层面面临的风险、攻击与防御方法。★ 155
AwesomeResponsibleAIAwesomeResponsibleAI 是一个精选资源列表，汇集了与负责任、可信赖和以人为本的 AI 相关的学术研究、书籍、伦理准则、课程、数据库、数据集、框★ 155
AgentGuardAgentGuard 是一个面向 AI Agent 的零信任安全基础框架，旨在解决大模型智能体在自主执行任务时面临的安全与合规问题。它通过策略引擎对 Agent★ 151
codeArbitercodeArbiter 是一个面向 AI 编程代理的治理与安全工具，旨在解决开发者无法完全信任 AI 生成代码的问题。它作为 Claude Code 等 AI ★ 149
ai-safe2-frameworkAI SAFE² 是一个面向智能体 AI、非人类身份（NHI）和 AI 集群（Swarm）的治理、风险与合规（GRC）操作系统，同时集成了安全能力。它试图解决 ★ 148
Agent-Execution-PartnershipAgent Execution Partnership (AEP) 是一个开源的 AI 智能体控制平面，专注于解决 AI 代理在执行任务时的安全与治理问题。它确★ 147
open-biasopen-bias 是一个开源的策略执行代理（policy enforcement proxy），定位为 AI 代理的“防火墙”与护栏层。它解决的核心问题是：当★ 145
lintlanglintlang 是一个针对 AI 智能体配置的静态分析工具，专注于在运行时之前发现工具描述模糊、缺少停止条件、schema 不完整等问题。它采用零 LLM 的★ 144
context-bombscontext-bombs 是一个专注于 AI 安全与评测的开源项目，核心是提供一系列精心构造的“上下文炸弹”字符串，用于测试和评估 AI 系统在面临恶意或异常★ 142
openfirmaopenfirma 是一个为 AI 智能体提供运行时强制边界的本地辅助进程（sidecar）。它拦截智能体所有出站调用，并依据用户自定义的 Cedar 策略进行★ 140
awesome-activation-engineering这是一个精选资源列表，专注于“激活工程”（Activation Engineering）领域，即通过修改神经网络内部激活值来引导模型行为的技术。项目整理了相关论★ 140
shellwardshellward 是一个面向 AI 应用的合规与安全网关，旨在帮助开发者和企业快速识别并修复 AI 项目中的合规风险。它通过一行命令对项目进行静态体检，覆盖数★ 139
SafeGen_CCS2024SafeGen 是发表于 CCS 2024 的学术项目，旨在缓解文本到图像模型生成不安全内容的问题。它针对当前扩散模型在生成图像时可能产生暴力、色情等违规内容的★ 138
TracekitTracekit 是一个面向 AI Agent 的可审计追踪与安全控制工具，核心解决 Agent 执行过程不透明、行为难以追责的问题。它通过防篡改的追踪记录，把★ 138
template-repotemplate-repo 是一个基于 Rust 的智能体编排与安全模板项目，旨在为开发者提供构建、部署和保护 AI 代理的参考框架。它解决了多代理协作中的信任★ 133
autoguardrailsAutoGuardrails 是一个面向 LLM 护栏的 alignment-research 脚手架，采用 autoresearch 风格，在单一的 poli★ 129
gensee-crategensee-crate 是一个用 Rust 编写的 AI 智能体安全运行工具，旨在为 Claude Code、Codex、Copilot 等 AI 编程助手提★ 125
orlojOrloj 是一个面向多智能体 AI 系统的编排运行时，用 Go 语言编写。它解决的核心问题是：当 AI 系统由多个智能体、工具和策略组成时，如何在生产环境中可★ 125
guardian-sdkGuardian SDK 是 Ethicore Engine™ 的开源组件，一个专注于 AI 安全、伦理与合规的防护平台。它通过多层分析流水线，保护 AI 应用★ 123
claude-ops-inspectorclaude-ops-inspector 是一个面向 Claude AI 代码网络的子代理验证工具，专注于提升 AI 生成代码的安全性与可靠性。它解决了在复杂 ★ 120
custodian-kernelcustodian-kernel 是一个面向 AI 智能体的权限与支出控制平台，通过内核级强制手段管理智能体的操作权限和资源消耗。它解决的核心问题是：当 AI ★ 120
audited-change-gateaudited-change-gate 是一个面向 AI 运维（AIOps）的自动化变更管理门禁工具，核心解决 AI 智能体（如 Claude Code、Cod★ 116
Rules.txtRules.txt 是一个针对大型语言模型（LLM）的对齐与越狱（jailbreak）研究项目，提供一套指令集，用于审计模型内部推理过程并揭示潜在偏见。它通过精★ 108
PocketStrike-AIPocketStrike-AI 是一个将 Android Termux 终端转化为自主 AI 智能体与安全编排器的开源项目。它解决了在移动设备上运行本地 AI ★ 99
AgentMarkAgentMark 是一个面向智能体（Agent）行为的水印工具，旨在保护基于大语言模型的智能体不被恶意窃取或滥用。随着智能体在工具调用、多步推理等场景中的普及★ 99
AutoControl-ArenaAutoControl-Arena 是一个面向前沿 AI 的风险自动发现平台，旨在系统性地评估和暴露大语言模型在自主控制场景下的潜在危险能力。它通过构建一个自动★ 94
awesome-llm-agent-papers这是一个精选的LLM智能体论文阅读清单，持续更新，收录了200多篇关于规划、记忆、工具使用、多智能体、评估与安全等主题的论文。项目旨在为研究者和开发者提供系统性★ 91
instarinstar 是一个基于 TypeScript 的持久化 Claude Code 智能体框架，旨在让 AI 代理具备长期运行、定时调度、会话管理和记忆能力。它解★ 84
deterministic-agent-control-protocol这是一个为AI智能体提供治理网关的开源项目，核心是给AI代理加上边界、审计和会话感知的控制能力。它通过MCP代理、Shell代理和HTTP API三种方式，让开★ 83
agent-osagent-os 是一个已废弃的智能体治理与安全框架，由微软发起，现已迁移至 microsoft/agent-governance-toolkit。它旨在解决企★ 74
phoenixPhoenix 是 Hermes Agent 的官方插件，旨在为智能体提供生产级的稳定性与安全性。它通过路由分档、风险防线、自愈机制、存档点提醒和审批策略自适应★ 58
VERONAVERONA 是一个轻量级 Python 包，用于快速搭建鲁棒性实验并计算鲁棒性分布。它解决了机器学习模型在对抗扰动、噪声或数据偏移下性能评估缺乏统一工具的问题★ 52