guardrails
本站收录 53 个带「guardrails」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）
presidioPresidio 是一个开源的敏感数据检测与匿名化框架，用于在文本、图像和结构化数据中识别、脱敏、遮蔽和匿名化个人身份信息（PII）。它通过 NLP 实体识别、★ 11,095
bamlBAML 是一种专为构建 AI 智能体而设计的编程语言，旨在解决传统 Prompt 工程中代码与提示词混杂、难以维护和调试的问题。它通过类型安全的声明式语法，让★ 9,355
bifrostBifrost 是一个用 Go 构建的企业级 AI 网关，定位为比 LiteLLM 快 50 倍的超高性能代理层。它解决企业在接入多家大模型时的统一管理、流量调★ 8,448
GuardrailsNeMo Guardrails 是 NVIDIA 开源的 LLM 对话系统安全护栏工具包，旨在为基于大语言模型的对话应用添加可编程的、可组合的安全约束。它解决的★ 7,219
superagentSuperagent 是一个专注于 AI 应用安全的开源库，主要解决提示注入、数据泄露和有害输出等安全问题。它提供轻量级 SDK，可嵌入现有 AI 应用，通过检★ 6,757
semantic-routersemantic-router 是一个用 Go 编写的可编程混合模型路由器，专为异构 LLM 推理场景设计。它解决的核心问题是：当企业或开发者需要同时调用多个不★ 5,980
failproofaifailproofai 是一个面向 AI 编码代理的运行时故障解决方案库，通过钩子（hooks）机制集成到 Claude Code、Codex、Cursor 等★ 5,234
stop-that-shitstop-that-shit 是一个针对 Codex CLI 的轻量级本地守卫工具，用 JavaScript 编写。它解决的是 AI 编程助手在完成小任务时过度★ 2,358
future-agiFuture AGI 是一个开源的端到端平台，用于评估、观测和优化 LLM 及 AI 智能体应用。它集成了追踪、评测、模拟、数据集管理、网关和护栏等核心功能，帮★ 2,102
ragbitsragbits 是一个用于快速构建生成式 AI 应用的 Python 开发框架，提供模块化的构建块，帮助开发者高效组合检索增强生成（RAG）、智能体（Agent★ 1,669
llmgatewayllmgateway 是一个基于 TypeScript 构建的轻量级 LLM API 网关，旨在统一管理多个大模型提供商的请求。它通过一个统一的 API 接口，★ 1,668
cc-safety-netcc-safety-net 是一个面向 AI 编码代理的安全防护工具，以 CLI 钩子形式在危险命令执行前进行拦截，防止 AI 代理误删代码、访问敏感文件或执行★ 1,566
aktoAkto 是一个面向企业团队的 AI 安全测试与治理平台，专注于保护 AI 代理、MCP 服务、LLM 应用及生成式 AI 系统。它解决的核心问题是 AI 应用★ 1,521
Multi-Agent-Medical-AssistantMulti-Agent-Medical-Assistant 是一个基于生成式 AI 的多智能体医疗诊断与健康研究辅助聊天机器人，面向医疗专业人员、研究人员和患者★ 981
cuga-agentCUGA 是一个面向企业的开源通用智能体框架，旨在解决复杂任务在网页和 API 上的自动化执行问题。它支持 OpenAPI 和 MCP 集成，能够连接外部工具和★ 880
hoopHoop 是一个用 Go 编写的统一网关，部署在各类协议前端，为 MCP、LLM、数据库和容器等不同后端提供一致的安全策略。它解决的核心问题是：当企业内部同时接★ 823
agentosagentos 是一个用 TypeScript 编写的 AI 智能体框架，旨在解决复杂任务中智能体的记忆、工具使用和多智能体协作问题。它提供了认知记忆能力，让智★ 673
harness-scoreharness-score 是一个用于评估 AI 编码代理（如 Cursor）周围工具链（harness）成熟度的开源 CLI 工具。它通过一系列可量化的检查项★ 535
opencode-swarmopencode-swarm 是一个面向 OpenCode 的智能体编排插件，采用中心辐射式架构，以架构师智能体为核心，协调 SME（领域专家）、代码生成和 Q★ 479
CoWork-OSCoWork-OS 是一个本地优先的个人智能体操作系统，旨在成为集编码、知识工作、网页设计、自动化和工件管理于一体的全能应用。它通过桌面应用（基于 Electr★ 466
SponsioSponsio 是一个面向概率性 AI 智能体的确定性安全解决方案框架。它通过为智能体提供可验证的安全护栏、运行时监控和技能沙箱，解决大模型输出不可控、工具调用★ 441
agent-controlagent-control 是一个面向大规模智能体运行时的集中式控制平面，旨在统一管理和治理智能体的行为。它解决的是企业在生产环境中部署多个AI智能体时，缺乏统★ 314
dsh-memorydsh-memory 是一个探索白箱 AGI 架构的开源项目，旨在解决当前 AI 系统黑箱化、缺乏自我认知和持续学习能力的问题。它通过构建元认知循环（自我认知）★ 278
Doberman-CoreDoberman-Core 是一个面向 AI 智能体的安全框架，专注于解决 LLM 应用中的安全防护问题。它提供提示注入防御、运行时策略执行、工具调用权限控制、★ 277
Doberman-CoreDoberman-Core 是一个面向 AI 代理的运行时安全防护库，定位为“AI 的看门狗”。它解决的是 LLM 应用在输入、输出和工具调用环节缺乏实时管控的★ 277
ai-gatewayai-gateway 是一个用 Go 编写的统一 AI 网关，旨在为 30 多种大语言模型（如 OpenAI、Anthropic、Bedrock、Azure 等★ 266
OpenTradeOpenTrade 是一个面向 Claude Code 和 Codex 等 AI 编程代理的开源交易控制框架。它解决的核心问题是：当 AI 代理被赋予投资或交易★ 220
probityprobity 是一个为 Claude Code、Codex 和 GitHub Copilot CLI 等 AI 编码代理提供 TDD（测试驱动开发）强制与护栏★ 216
idun-agent-platformidun-agent-platform 是一个开源智能体运行时，旨在将 LangGraph 或 Google ADK 开发的智能体一键部署为生产级 FastAP★ 203
agent-kernelagent-kernel 是一个面向企业级 AI 智能体的操作系统，旨在解决大规模部署和编排 AI 智能体时面临的框架锁定、代码重写和脆弱集成问题。它提供统一的★ 190
aisixaisix 是一个用 Rust 构建的开源 AI 网关，为 LLM 和 AI 智能体提供统一的 OpenAI 兼容 API 接口。它解决了企业或开发者在接入多家★ 171
humanboundHumanbound 是一个开源的对抗性测试引擎，为 AI 智能体提供 SDK 和命令行工具，用于发现和修复智能体中的安全漏洞与逻辑缺陷。它解决的核心问题是：A★ 161
Awesome-LLMSecOpsAwesome-LLMSecOps 是一个专注于大语言模型（LLM）与智能体（Agent）安全运营的精选资源列表。它系统性地整理了 LLM 安全领域的威胁建模、★ 161
dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具，用 TypeScript 编写，主要解决 Dify、Coze、FastGPT、n★ 158
pi-wardenpi-warden 是给 Pi 编码代理加装的护栏扩展，核心思路是“引导而非打断”。它在代理每次写文件时自动执行项目规则，只拦截真正难以撤销的高风险操作——官方★ 153
pi-jevpi-jev 是给 Pi 编码代理加的一层类型安全决策门。它解决的是 AI 代理在调用工具时容易乱调、误调、参数不合规的问题：通过一个可度量的 tool-cal★ 151
shellwardshellward 是一个面向 AI 应用的合规与安全网关，旨在帮助开发者和企业快速识别并修复 AI 项目中的合规风险。它通过一行命令对项目进行静态体检，覆盖数★ 139
openfirmaopenfirma 是一个为 AI 智能体提供运行时强制边界的本地辅助进程（sidecar）。它拦截智能体所有出站调用，并依据用户自定义的 Cedar 策略进行★ 139
context-bombscontext-bombs 是一个专注于 AI 安全与评测的开源项目，核心是提供一系列精心构造的“上下文炸弹”字符串，用于测试和评估 AI 系统在面临恶意或异常★ 131
autoguardrailsAutoGuardrails 是一个面向 LLM 护栏的 alignment-research 脚手架，采用 autoresearch 风格，在单一的 poli★ 130
orlojOrloj 是一个面向多智能体 AI 系统的编排运行时，用 Go 语言编写。它解决的核心问题是：当 AI 系统由多个智能体、工具和策略组成时，如何在生产环境中可★ 121
audited-change-gateaudited-change-gate 是一个面向 AI 运维（AIOps）的自动化变更管理门禁工具，核心解决 AI 智能体（如 Claude Code、Cod★ 117
raga-llm-hubraga-llm-hub 是一个用于大语言模型（LLM）评估、防护栏（guardrails）和安全的开源框架，基于 Python 构建。它旨在解决 LLM 应用★ 115
SIMURGSIMURG 是一个面向大语言模型流式输出的在线异常检测与防护工具。它解决的核心问题是：LLM 在解码过程中常出现重复循环、语言漂移、乱码等退化现象，而传统方案★ 108
End-to-End-Agentic-Ai-Automation-Lab这是一个面向智能体（Agentic AI）的动手实践型开源实验室，汇集了多智能体系统、LangChain、LangGraph、AutoGen、CrewAI、RA★ 102
agentjailagentjail 是一个为编码智能体（如 Claude Code、Codex、Cursor）提供策略护栏的开源工具。它解决的核心问题是：AI 编程助手在自动执★ 96
codexmasterCodexMaster 是一个为 OpenAI Codex 等 AI 编程代理设计的提示词与规则框架，由 32 个 Markdown 文件组成，涵盖治理、执行、★ 85
circle-guard-benchcircle-guard-bench 是首个专门评估大语言模型（LLM）防护系统（包括 guardrails 和 safeguards）能力的 AI 基准测试框★ 81
datafog-pythondatafog-python 是一个面向 AI 智能体和 LLM 应用的离线 PII（个人身份信息）防火墙。它解决的是 AI 应用在交互过程中可能泄露敏感数据的★ 75
agent-osagent-os 是一个已废弃的智能体治理与安全框架，由微软发起，现已迁移至 microsoft/agent-governance-toolkit。它旨在解决企★ 74