guardrails 第 1 页

本站收录 70 个带「guardrails」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

presidioPresidio 是一个开源的敏感数据检测与匿名化框架,用于在文本、图像和结构化数据中识别、脱敏、遮蔽和匿名化个人身份信息(PII)。它通过 NLP 实体识别、★ 11,887bifrostBifrost 是一个用 Go 构建的企业级 AI 网关,定位为比 LiteLLM 快 50 倍的超高性能代理层。它解决企业在接入多家大模型时的统一管理、流量调★ 9,565bamlBAML 是一种专为构建 AI 智能体而设计的编程语言,旨在解决传统 Prompt 工程中代码与提示词混杂、难以维护和调试的问题。它通过类型安全的声明式语法,让★ 9,510failproofaifailproofai 是一个面向 AI 编码代理的运行时故障解决方案库,通过钩子(hooks)机制集成到 Claude Code、Codex、Cursor 等★ 9,027GuardrailsNeMo Guardrails 是 NVIDIA 开源的 LLM 对话系统安全护栏工具包,旨在为基于大语言模型的对话应用添加可编程的、可组合的安全约束。它解决的★ 7,499superagentSuperagent 是一个专注于 AI 应用安全的开源库,主要解决提示注入、数据泄露和有害输出等安全问题。它提供轻量级 SDK,可嵌入现有 AI 应用,通过检★ 6,874semantic-routersemantic-router 是一个用 Go 编写的可编程混合模型路由器,专为异构 LLM 推理场景设计。它解决的核心问题是:当企业或开发者需要同时调用多个不★ 6,478stop-that-shitstop-that-shit 是一个针对 Codex CLI 的轻量级本地守卫工具,用 JavaScript 编写。它解决的是 AI 编程助手在完成小任务时过度★ 3,904future-agiFuture AGI 是一个开源的端到端平台,用于评估、观测和优化 LLM 及 AI 智能体应用。它集成了追踪、评测、模拟、数据集管理、网关和护栏等核心功能,帮★ 2,277cc-safety-netcc-safety-net 是一个面向 AI 编码代理的安全防护工具,以 CLI 钩子形式在危险命令执行前进行拦截,防止 AI 代理误删代码、访问敏感文件或执行★ 2,044llmgatewayllmgateway 是一个基于 TypeScript 构建的轻量级 LLM API 网关,旨在统一管理多个大模型提供商的请求。它通过一个统一的 API 接口,★ 1,743ragbitsragbits 是一个用于快速构建生成式 AI 应用的 Python 开发框架,提供模块化的构建块,帮助开发者高效组合检索增强生成(RAG)、智能体(Agent★ 1,679OpenAPPAOpenAPPA 是一个用 Rust 编写的确定性护栏(guardrails)系统,面向 AI Agent 的安全与合规场景。它要解决的问题是:传统基于概率模型★ 1,634aktoAkto 是一个面向企业团队的 AI 安全测试与治理平台,专注于保护 AI 代理、MCP 服务、LLM 应用及生成式 AI 系统。它解决的核心问题是 AI 应用★ 1,548cuga-agentCUGA 是一个面向企业的开源通用智能体框架,旨在解决复杂任务在网页和 API 上的自动化执行问题。它支持 OpenAPI 和 MCP 集成,能够连接外部工具和★ 1,183Multi-Agent-Medical-AssistantMulti-Agent-Medical-Assistant 是一个基于生成式 AI 的多智能体医疗诊断与健康研究辅助聊天机器人,面向医疗专业人员、研究人员和患者★ 1,010SurrogateShieldSurrogateShield 是面向大语言模型与 RAG 流水线的隐私防护中间件,核心思路是在请求进入模型前识别并替换敏感个人信息,在模型返回后再按映射还原,★ 969hoopHoop 是一个用 Go 编写的统一网关,部署在各类协议前端,为 MCP、LLM、数据库和容器等不同后端提供一致的安全策略。它解决的核心问题是:当企业内部同时接★ 859TracekitTracekit 是一个面向 AI Agent 的可审计追踪与安全控制工具,核心解决 Agent 执行过程不透明、行为难以追责的问题。它通过防篡改的追踪记录,把★ 726agentosagentos 是一个用 TypeScript 编写的 AI 智能体框架,旨在解决复杂任务中智能体的记忆、工具使用和多智能体协作问题。它提供了认知记忆能力,让智★ 689dsh-memorydsh-memory 是一个探索白箱 AGI 架构的开源项目,旨在解决当前 AI 系统黑箱化、缺乏自我认知和持续学习能力的问题。它通过构建元认知循环(自我认知)★ 689harness-scoreharness-score 是一个用于评估 AI 编码代理(如 Cursor)周围工具链(harness)成熟度的开源 CLI 工具。它通过一系列可量化的检查项★ 622chainloopChainloop 是一套面向 AI 编码代理与 CI/CD 流水线的可验证治理基础设施。它解决的核心问题是:当 AI 代理自动改代码、自动提交、自动发布时,如★ 614CoWork-OSCoWork-OS 是一个本地优先的个人智能体操作系统,旨在成为集编码、知识工作、网页设计、自动化和工件管理于一体的全能应用。它通过桌面应用(基于 Electr★ 550opencode-swarmopencode-swarm 是一个面向 OpenCode 的智能体编排插件,采用中心辐射式架构,以架构师智能体为核心,协调 SME(领域专家)、代码生成和 Q★ 529antirionantirion 是一个用 Rust 编写的开源 AI 网关,以单个二进制文件形式交付,内置管理控制台。它要解决的是企业在多模型、多供应商环境下调用 LLM 时★ 463SponsioSponsio 是一个面向概率性 AI 智能体的确定性安全解决方案框架。它通过为智能体提供可验证的安全护栏、运行时监控和技能沙箱,解决大模型输出不可控、工具调用★ 455dev-quality-gatesdev-quality-gates 是一个面向软件开发规范落地的精选工具清单,核心思路是“每个环节只推荐一个工具,并说明其适用边界”,帮助团队用尽量少的工具组合★ 374agent-controlagent-control 是一个面向大规模智能体运行时的集中式控制平面,旨在统一管理和治理智能体的行为。它解决的是企业在生产环境中部署多个AI智能体时,缺乏统★ 336BelloBello 是一个面向编码智能体(coding agent)的增强型工具,核心目标是让 AI 编程助手在同等质量下获得约三倍的可用额度。它通过多智能体编排来解决★ 302ai-gatewayai-gateway 是一个用 Go 编写的统一 AI 网关,旨在为 30 多种大语言模型(如 OpenAI、Anthropic、Bedrock、Azure 等★ 291dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具,用 TypeScript 编写,主要解决 Dify、Coze、FastGPT、n★ 275probityprobity 是一个为 Claude Code、Codex 和 GitHub Copilot CLI 等 AI 编码代理提供 TDD(测试驱动开发)强制与护栏★ 249OpenTradeOpenTrade 是一个面向 Claude Code 和 Codex 等 AI 编程代理的开源交易控制框架。它解决的核心问题是:当 AI 代理被赋予投资或交易★ 249Doberman-CoreDoberman-Core 是一个面向 AI 智能体的安全框架,专注于解决 LLM 应用中的安全防护问题。它提供提示注入防御、运行时策略执行、工具调用权限控制、★ 244Doberman-CoreDoberman-Core 是一个面向 AI 代理的运行时安全防护库,定位为“AI 的看门狗”。它解决的是 LLM 应用在输入、输出和工具调用环节缺乏实时管控的★ 243humanboundHumanbound 是一个开源的对抗性测试引擎,为 AI 智能体提供 SDK 和命令行工具,用于发现和修复智能体中的安全漏洞与逻辑缺陷。它解决的核心问题是:A★ 239aisixaisix 是一个用 Rust 构建的开源 AI 网关,为 LLM 和 AI 智能体提供统一的 OpenAI 兼容 API 接口。它解决了企业或开发者在接入多家★ 221idun-agent-platformidun-agent-platform 是一个开源智能体运行时,旨在将 LangGraph 或 Google ADK 开发的智能体一键部署为生产级 FastAP★ 205pi-wardenpi-warden 是给 Pi 编码代理加装的护栏扩展,核心思路是“引导而非打断”。它在代理每次写文件时自动执行项目规则,只拦截真正难以撤销的高风险操作——官方★ 193agent-kernelagent-kernel 是一个面向企业级 AI 智能体的操作系统,旨在解决大规模部署和编排 AI 智能体时面临的框架锁定、代码重写和脆弱集成问题。它提供统一的★ 192Awesome-LLMSecOpsAwesome-LLMSecOps 是一个专注于大语言模型(LLM)与智能体(Agent)安全运营的精选资源列表。它系统性地整理了 LLM 安全领域的威胁建模、★ 170agentlintagentlint 是一个面向 AI 编程代理的本地防护工具,用 Python 实现。它解决的核心问题是:当 Claude Code、Codex、Cursor、★ 169context-bombscontext-bombs 是一个专注于 AI 安全与评测的开源项目,核心是提供一系列精心构造的“上下文炸弹”字符串,用于测试和评估 AI 系统在面临恶意或异常★ 167pi-jevpi-jev 是给 Pi 编码代理加的一层类型安全决策门。它解决的是 AI 代理在调用工具时容易乱调、误调、参数不合规的问题:通过一个可度量的 tool-cal★ 165building-with-typesafe-jev这是一个面向编码智能体(coding agent)的非官方技能包,专门教 AI 助手如何正确使用 TypeSafe AI 的 Jev 库来构建应用。Jev 的核★ 156jevmemjevmem 是一个面向 Claude Code 的持久化记忆插件,它把你在 Claude Code 对话中做出的关键决策、项目规则以及尝试过但失败的做法,自动★ 150nemo-helixNeMo Helix 是 NVIDIA 推出的 AI Agent 全生命周期优化工具,聚焦于让上线的智能体更快、更准、更安全。它面向构建和运维 LLM Agen★ 145openfirmaopenfirma 是一个为 AI 智能体提供运行时强制边界的本地辅助进程(sidecar)。它拦截智能体所有出站调用,并依据用户自定义的 Cedar 策略进行★ 144open-biasopen-bias 是一个开源的策略执行代理(policy enforcement proxy),定位为 AI 代理的“防火墙”与护栏层。它解决的核心问题是:当★ 140