tensor-trust

玩游戏,收集提示注入数据,助力AI安全研究

tensor-trust 是一个用于收集鲁棒机器学习研究数据的提示注入游戏。它通过游戏化的方式,让用户与AI模型进行对抗性交互,尝试通过精心设计的提示词来绕过模型的安全限制或诱导其产生错误输出。该项目旨在解决AI模型在面对恶意或意外输入时表现脆弱的问题,核心能力是构建一个可控的、可扩展的数据收集平台,以生成高质量的对抗性提示样本,用于训练和评估更安全的语言模型。项目采用Python开发,提供了游戏界面和数据处理流程,支持研究社区共同参与数据贡献。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 78
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队HumanCompatibleAI
所属国家
定价模式free
价格说明开源项目,完全免费,无付费版本。
访问状态
是否开源是
开源协议BSD-2-Clause
主要语言Python
技术栈/模型ctf,django,game,htmx,jailbreaks,large-language-models,llm,llms,prompt-engineering,prompt-injection,prompting,security
GitHub 星标★ 78
30天Star增速
HF 下载量
上线时间2023-06-05 00:00:00
最近更新2026-09-19 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 游戏化设计降低数据收集门槛,吸引非专业用户参与
  • 针对提示注入这一具体安全威胁,数据针对性强
  • 开源且易于扩展,可自定义游戏场景和模型

不足之处

  • 项目处于早期阶段,文档和社区支持尚待完善
  • 游戏模式可能限制提示注入的复杂性和多样性

适用场景

  • 学术研究:构建对抗性提示数据集
  • 安全评估:测试语言模型的鲁棒性
  • 众包数据收集:发动社区贡献攻击样本

替代项目

garak、PromptInject、TextAttack

项目介绍

tensor-trust 是评测安全领域的开源项目,由 HumanCompatibleAI 开发,2023 年首次发布。

它收录于评测安全分类,该分类目前共有 458 个项目,GitHub 星标数为 78。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-19。完全免费,无付费版本。

它主要面向的使用场景是:学术研究:构建对抗性提示数据集。同类可对比的替代方案包括 garak、PromptInject、TextAttack。

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1362 2026-08-24