circle-guard-bench

给 LLM 防护系统打分，选最靠谱的护栏

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 9 🐛 待处理 4 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 81
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源基准测试项目，Apache-2.0许可证，完全免费，无付费版本。

项目预览

circle-guard-bench 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队whitecircle
官网地址https://whitecircle.ai
GitHubhttps://github.com/whitecircle/circle-guard-bench
定价模式🏷️完全免费
价格说明开源基准测试项目，Apache-2.0许可证，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,benchmark,benchmarking,guardrail,guardrails,jailbreak,large-language-model,large-language-models,llm,llm-as-a-judge,llm-eval,llm-evaluation,llm-jailbreaks,llm-security,safeguard
GitHub 星标★ 81
上线时间2025-04-24 00:00:00
代码更新2026-03-07
仓库体积20.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

circle-guard-bench 是首个专门评估大语言模型（LLM）防护系统（包括 guardrails 和 safeguards）能力的 AI 基准测试框架。它解决了当前 LLM 防护系统缺乏统一、客观评估标准的问题，为开发者提供了一套标准化的测试工具和方法。该框架通过设计多样化的攻击与防御场景，量化防护系统在抵御提示注入、越狱攻击、有害内容生成等方面的表现，帮助用户比较不同防护方案的有效性。其核心能力包括自动化测试流程、可扩展的测试用例库、以及详细的评估报告生成，适用于安全研究人员、AI 应用开发者以及企业安全团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 81

核心亮点

  • 首个针对 LLM 防护系统的专项基准，填补评估空白
  • 自动化测试流程，降低人工评估成本
  • 测试用例覆盖多种攻击场景，结果可量化对比

不足之处

  • 项目早期，测试用例库和社区贡献有限
  • 文档/社区待观察

适用场景

  • 安全团队评估不同 LLM 防护方案的效果
  • 开发者在部署 AI 应用前验证防护配置
  • 研究人员对比最新防护技术的优劣

替代项目

garak、PyRIT、llm-guard

上一篇：LLM-KG-Bench

下一篇：Awesome-LLM-Empathy

同类项目推荐

sec-code-bench 开源

测测大模型写的代码安不安全

SecCodeBench is a benchmark suite focusing on evaluating the security of code genera···

★ 138 2026-10-14
AlignBench 开源

测中文大模型对齐能力，多维打分看清模型强弱

大模型多维度中文对齐评测基准 (ACL 2024)

★ 433 2026-08-09
dsh-auto-review 开源

给DeepSeek审批加道AI安全锁，自动审查敏感操作

Second-model AI auto-review for DeepSeek Harness approval requests: a read-only revi···

★ 247 2026-09-05
trustmebro 开源

伪造工具输出，测出模型护栏会不会被骗

Bypass llm guardrails by confusing it with fabricated tool output.

★ 608 2026-09-16
any-guardrail 开源

一个接口切换多种大模型安全护栏，评测对比不再改代码

Giving researchers and practitioners an easy way to switch between guardrails.

★ 131 2026-09-16
evaluate 开源

一行代码加载指标，快速评测模型效果

Evaluate: A library for easily evaluating machine learning models and datasets.

★ 2493 2026-09-21
DreamLayer-Eval 开源

一键自动化评测扩散模型，告别手动调参和结果不可复现。

DreamLayer Eval: open-source benchmarking for image and video diffusion models. Auto···

★ 412 2026-08-09
HallusionBench 开源

测出多模态模型的视觉幻觉，看清谁在瞎猜

[CVPR'24] HallusionBench: You See What You Think? Or You Think What You See? An Imag···

★ 346 2026-08-09
encord-active 开源

用主动学习挑出最有价值的标注数据，让模型迭代更快更省

The toolkit to test, validate, and evaluate your models and surface, curate, and pri···

★ 460 2026-08-09