给 LLM 防护系统打分，选最靠谱的护栏
circle-guard-bench 是首个专门评估大语言模型（LLM）防护系统（包括 guardrails 和 safeguards）能力的 AI 基准测试框架。它解决了当前 LLM 防护系统缺乏统一、客观评估标准的问题，为开发者提供了一套标准化的测试工具和方法。该框架通过设计多样化的攻击与防御场景，量化防护系统在抵御提示注入、越狱攻击、有害内容生成等方面的表现，帮助用户比较不同防护方案的有效性。其核心能力包括自动化测试流程、可扩展的测试用例库、以及详细的评估报告生成，适用于安全研究人员、AI 应用开发者以及企业安全团队。
garak、PyRIT、llm-guard
circle-guard-bench 是评测安全领域的开源项目，由 whitecircle 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 79。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。开源基准测试项目，Apache-2.0许可证，完全免费，无付费版本。
它主要面向的使用场景是：安全团队评估不同LLM防护方案的效果。同类可对比的替代方案包括 garak、PyRIT、llm-guard。
上一篇：LLM-KG-Bench
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
