llamator

给聊天机器人找茬,提前揪出安全漏洞

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 23 🐛 待处理 12 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 225
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源框架,本地部署,完全免费

项目预览

llamator 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队LLAMATOR-Core
定价模式🏷️完全免费
价格说明开源框架,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型agent,ai,ai-security,attack,hallucinations,jailbreak,llm,llm-read-team,llm-security,llm-testing,misinformation,nlp,owasp,python,rag,rag-evaluation,red-team,red-team-tools,security-tools,vulnerability
GitHub 星标★ 225
上线时间2024-09-05 00:00:00
代码更新2026-05-20
仓库体积4.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

llamator 是一个用于测试聊天机器人和生成式 AI 系统的红队(Red Teaming)Python 框架。它主要解决 LLM 应用在安全性和可靠性方面的测试难题,帮助开发者主动发现模型可能存在的提示注入、越狱、有害内容生成等漏洞。核心能力包括:提供一套结构化的测试用例库,覆盖常见攻击模式;支持自定义测试场景,灵活适配不同业务需求;能够自动化执行测试并生成报告,方便集成到 CI/CD 流程中。通过模拟恶意或边缘输入,llamator 让开发者在部署前就能识别和修复潜在风险,从而提升 AI 应用的安全基线。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 225

核心亮点

  • 内置多种红队测试用例,覆盖提示注入、越狱等常见攻击
  • 支持自定义测试场景,可针对业务定制安全测试
  • 自动化测试并输出报告,便于集成到开发流程

不足之处

  • 项目早期,文档和社区生态尚不完善
  • 功能相对基础,高级攻击模拟能力有限

适用场景

  • LLM 应用上线前的安全评估
  • 持续集成中自动执行安全回归测试
  • 安全团队对聊天机器人进行渗透测试

替代项目

garak、PyRIT、TextAttack

上一篇:confabulations

下一篇:XRAG

同类项目推荐

future-agi 开源

一站式评估、观测和优化你的 AI 智能体,提升可靠性和安全性。

Open-source, end-to-end platform for evaluating, observing, and improving LLM and AI···

★ 2257 2026-08-09
akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1544 2026-08-20
sec-code-bench 开源

测测大模型写的代码安不安全

SecCodeBench is a benchmark suite focusing on evaluating the security of code genera···

★ 138 2026-10-14
convex-evals 开源

给 Convex 后端做功能与安全体检,部署前拦住越权和逻辑错。

★ 129 2026-09-14
awesome-ai-leaderboard 开源

一榜在手,AI模型强弱全看透

A curated list of awesome leaderboard-oriented resources for AI domain

★ 384 2026-08-09
long-form-factuality 开源

测出大模型长篇回答里有多少真话

Benchmarking long-form factuality in large language models. Original code for our pa···

★ 698 2026-08-09
SECA 开源

用语义等价攻击,自动逼出 LLM 的幻觉破绽

[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···

★ 73 2026-08-09
Awesome-Multimodal-LLM-for-Code 开源

一页看全多模态代码生成论文与数据集

[TMLR 2026] Multimodal Large Language Models for Code Generation under Multimodal Sc···

★ 290 2026-09-14