PurpleLlama

给大模型装上安全护栏，评测+拦截一步到位

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 评测安全 🍴 复刻 783 🐛 待处理 90 👀 关注 65
GitHub ↗
GitHub 星标 ★ 4460
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，无在线服务

项目预览

PurpleLlama 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队meta-llama
GitHubhttps://github.com/meta-llama/PurpleLlama
定价模式🏷️完全免费
价格说明开源免费，无在线服务
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
GitHub 星标★ 4460
上线时间2023-12-06 00:00:00
代码更新2026-10-30
仓库体积42.8 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

PurpleLlama 是 Meta 开源的一套 LLM 安全评估与加固工具集，主要解决大模型在部署前后缺乏系统化安全测试和防护手段的问题。它包含多个子项目：CyberSecEval 提供网络安全与代码安全基准，用于量化模型生成恶意代码、协助网络攻击的风险；Llama Guard 是一组输入输出内容审核模型，可对提示词和模型回复做有害内容分类；Prompt Guard 用于检测提示注入和越狱攻击；Code Shield 则在推理阶段过滤不安全的代码建议。整体覆盖从评测、检测到运行时防护的完整链路，帮助开发者在自有应用中快速搭建安全护栏，降低合规与滥用风险。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 4460

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门 约 10 分钟 部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • Python 环境（项目主要开发语言为 Python）
  • 已安装 git，可访问 GitHub
  • 可访问 Hugging Face（下载 Llama Guard / Prompt Guard 等模型需账号并申请权限）

安装与启动步骤

  1. 1克隆主仓库

    把 PurpleLlama 仓库下载到本地，README 未提供具体安装命令，克隆后可查看各子项目自带文档。

    git clone https://github.com/meta-llama/PurpleLlama.git

  2. 2查看子项目结构

    进入仓库根目录查看包含哪些子项目，README 说明首发包含网络安全与输入输出防护两类工具与评测。

    cd PurpleLlama && ls -la

  3. 3了解参考集成方案

    README 的 Getting Started 指向 Llama 参考系统与 llama-recipes 仓库，安全层集成方式需到该仓库查阅。

    git clone https://github.com/meta-llama/llama-recipes.git

  4. 4获取防护模型

    Llama Guard、Prompt Guard 等模型发布在 Hugging Face 的 meta-Llama 组织页面，需登录账号按页面指引申请并下载权重。

关键配置

配置项必填说明示例
Hugging Face 访问令牌是下载受限模型权重时用于身份鉴权hf_xxxxxxxxxxxxxxxxxxxx
模型本地路径否加载 Llama Guard / Prompt Guard 权重时的本地目录/your/path/llama-guard

如何确认成功

README 未给出启动或测试命令，克隆完成后可用 ls 确认 CyberSecEval、Llama Guard 等子项目目录存在。

常见问题

Q：README 里没有安装命令，怎么装依赖？

A：README 仅指向 llama-recipes 与 Llama 参考系统，未给出 pip 安装步骤。需进入具体子项目目录查看其自带说明文件，按其中的依赖列表安装。

Q：怎么在应用里接入安全护栏？

A：README 说明 Llama 参考系统已集成安全层以方便部署，接入方式参考 llama-recipes 仓库中的相关示例。

Q：Llama Guard 和 Prompt Guard 模型在哪里下载？

A：在 Hugging Face 的 meta-Llama 组织页面获取，部分模型需先申请访问权限再下载权重。

注意事项

  • README 节选未提供任何 pip / docker 安装命令，本教程步骤仅为通用准备动作，具体安装请以各子项目目录内文档为准。
  • Llama Guard 等模型权重受许可约束，使用前需在 Hugging Face 页面申请并遵守相应协议。
  • 项目定位为红蓝结合的“紫色团队”思路，建议同时使用评测基准与运行时防护工具。

核心亮点

  • 提供 CyberSecEval 等可量化基准，能直接跑分对比不同模型的安全表现
  • Llama Guard、Prompt Guard 等模型可开箱即用，支持本地部署不依赖外部 API
  • 覆盖输入审核、注入检测、代码过滤多个环节，形成较完整的安全工具链

不足之处

  • 各子项目文档分散，版本与依赖关系需要自行梳理
  • 部分安全模型对中文及非英语场景的覆盖和效果缺少明确说明

适用场景

  • 企业上线 LLM 应用前做安全红队评测与合规检查
  • 聊天机器人在线拦截有害输入和越狱提示
  • 代码助手在生成阶段过滤不安全或恶意代码片段

替代项目

NeMo-Guardrails、garak

上一篇：Spiritual-Spell-Red-Teaming

下一篇：llm_benchmark

同类项目推荐

awesome-ai-safety 开源

一站式速查AI安全核心论文，快速入门不迷路

A curated list of papers & technical articles on AI Quality & Safety

★ 227 2026-08-09
blacksmith 开源

多智能体分工，自动跑完渗透测试全流程

BlacksmithAI is an OPEN-SOURCE advanced penetration testing framework that leverages···

★ 267 2026-10-27
EasyJailbreak 开源

一键生成越狱提示词，快速测评大模型安全防线

An easy-to-use Python framework to generate adversarial jailbreak prompts.

★ 938 2026-09-02
geobench 开源

用 GeoGuessr 游戏场景，测出 AI 的地理定位智商。

GeoGuessr benchmark for language models

★ 65 2026-08-09
Robust-U1 开源

让多模态模型自己修复坏图，理解不翻车

[ICML 2026] Official Implementation of Robust-U1: Can MLLMs Self-Recover Corrupted V···

★ 355 2026-08-09
llm-colosseum 开源

让大模型打街霸，用对战胜负测实力

Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality ···

★ 1485 2026-08-09
MMMU 开源

用大学级多模态考题，测出 AI 的真实专家水平

This repo contains evaluation code for the paper "MMMU: A Massive Multi-discipline M···

★ 600 2026-08-09
ai-llm-comparison 开源

并排对比所有AI模型，快速选出最适合你的那个

A website where you can compare every AI Model ✨

★ 427 2026-08-09
RAGElo 开源

用 Elo 对战排名，快速选出最强 RAG 智能体

RAGElo is a set of tools that helps you selecting the best RAG-based LLM agents by u···

★ 133 2026-10-02