tensor-trust

玩游戏,收集提示注入数据,助力AI安全研究

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 10 🐛 待处理 36 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 81
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,无付费版本。

项目预览

tensor-trust 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队HumanCompatibleAI
定价模式🏷️完全免费
价格说明开源项目,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-2-Clause
主要语言Python
技术栈/模型ctf,django,game,htmx,jailbreaks,large-language-models,llm,llms,prompt-engineering,prompt-injection,prompting,security
GitHub 星标★ 81
上线时间2023-06-05 00:00:00
代码更新2025-01-27
仓库体积8.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

tensor-trust 是一个用于收集鲁棒机器学习研究数据的提示注入游戏。它通过游戏化的方式,让用户与AI模型进行对抗性交互,尝试通过精心设计的提示词来绕过模型的安全限制或诱导其产生错误输出。该项目旨在解决AI模型在面对恶意或意外输入时表现脆弱的问题,核心能力是构建一个可控的、可扩展的数据收集平台,以生成高质量的对抗性提示样本,用于训练和评估更安全的语言模型。项目采用Python开发,提供了游戏界面和数据处理流程,支持研究社区共同参与数据贡献。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 81

核心亮点

  • 游戏化设计降低数据收集门槛,吸引非专业用户参与
  • 针对提示注入这一具体安全威胁,数据针对性强
  • 开源且易于扩展,可自定义游戏场景和模型

不足之处

  • 项目处于早期阶段,文档和社区支持尚待完善
  • 游戏模式可能限制提示注入的复杂性和多样性

适用场景

  • 学术研究:构建对抗性提示数据集
  • 安全评估:测试语言模型的鲁棒性
  • 众包数据收集:发动社区贡献攻击样本

替代项目

garak、PromptInject、TextAttack

同类项目推荐

mcp-observatory 开源

在智能体接入前,自动给 MCP 服务器做安全体检

Free, MIT-licensed MCP security testing from ClearFrame. Scan, audit, compare, and r···

★ 120 2026-08-09
PromptMe 开源

10 个动手挑战,亲手打穿 LLM 安全漏洞

PromptMe is an educational project that showcases security vulnerabilities in large ···

★ 113 2026-09-15
benchmarks 开源

统一跑分语音AI,延迟准确率一测便知

Reproducible voice-AI benchmarking — TTS / STT / S2S latency and accuracy.

★ 105 2026-10-06
AdvUnlearn 开源

对抗训练让概念擦除更抗攻击,生成更安全

Official implementation of NeurIPS'24 paper "Defensive Unlearning with Adversarial T···

★ 56 2026-08-09
botsim 开源

自动仿真对话,快速揪出聊天机器人短板

BotSIM - a data-efficient end-to-end Bot SIMulation toolkit for evaluation, diagnosi···

★ 116 2026-08-09
OceanGym 开源

打造水下机器人的“健身房”,让智能体在仿真洋流中练就真本事。

[EMNLP 2026] OceanGym: A Benchmark Environment for Underwater Embodied Agents

★ 155 2026-08-09
AICompare 开源

一键同时打开多个 AI 站点,对比回答效率翻倍

one click to open multi AI sites | 一键打开多个 AI 站点,查看 AI 结果

★ 130 2026-08-09
Awesome-LLM-Red-Teaming 开源

一站式收集 LLM 红队测试资源,快速上手安全攻防

A curated list of awesome LLM Red Teaming training, resources, and tools.

★ 148 2026-08-09