trustmebro

伪造工具输出，测出模型护栏会不会被骗

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 54 👀 关注 1

GitHub ↗

GitHub 星标 ★ 603

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源免费，无在线服务

项目预览

项目数据

分类评测安全

开发团队DavidCarliez

GitHubhttps://github.com/DavidCarliez/trustmebro

定价模式🏷️完全免费

价格说明开源免费，无在线服务

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Go

GitHub 星标★ 603

上线时间2026-08-26 00:00:00

代码更新2026-09-01

仓库体积3.0 MB

本站数据更新2026-11-03

维护状态维护中

收录时间2026-09-16

浏览次数2

项目介绍

TrustMeBro 是一个用 Go 编写的 LLM 安全评测工具，专门测试大模型护栏（guardrails）在伪造工具输出场景下的鲁棒性。它的核心思路是：把一段看似来自外部工具（如搜索、数据库、代码执行器）的伪造返回结果注入对话，观察模型是否会因此绕过自身的安全策略，执行本应拒绝的请求。项目解决的是安全团队在评估 LLM 应用时缺少针对性对抗样本的问题，帮助发现“模型过度信任工具输出”这一常见盲区。核心能力包括构造伪造工具调用结果、批量发送测试用例、记录模型是否被诱导越狱，以及输出可复现的评测结果。它适合红队测试、模型安全基准建设和护栏回归验证，语言为 Go，部署轻量，可作为 CI 中的安全测试环节。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 603

使用教程

难度：进阶约 30 分钟部署方式：本地安装 4 步

环境要求

Go 工具链
编码代理
规则配置能力

安装与启动步骤

1装工具

Go 项目，装发布版或自己编。
```
go install github.com/DavidCarliez/trustmebro@latest
```
2装钩子

它拦在代理与真实命令之间，需要装到对应位置。
```
./trustmebro install
```
3写规则

决定哪些命令返回假结果、哪些直接拦掉。
4验证拦截

故意跑一条被拦的命令，确认代理拿到的是你设定的结果。