用自提示校准精准识别训练数据，评估大模型隐私泄露风险
SPV-MIA 是 NeurIPS 2024 收录的针对微调大语言模型的成员推理攻击方法。它解决的核心问题是：当大模型经过微调后，攻击者能否判断某条数据是否出现在训练集中，这直接关系到数据隐私泄露风险。该方法通过自提示校准（Self-prompt Calibration）技术，利用模型自身生成的提示来校准成员与非成员的得分差异，从而显著提升攻击准确率。项目提供了完整的实现代码、实验配置和预训练模型权重，支持在多种主流大语言模型（如 LLaMA、GPT-2 等）上复现论文结果。核心能力包括：成员推理攻击的完整流程、自提示校准模块、以及针对不同微调场景（如 LoRA、全量微调）的适配。该工具可用于评估大模型微调服务的隐私风险，帮助研究者理解并防范此类攻击。
LiRA (Membership Inference Attacks)、PIA (Privacy Attacks on Language Models)、Canary (Membership Inference on Text)
ANeurIPS2024_SPV-MIA 是评测安全领域的开源项目，由 tsinghua-fib-lab 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 184。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-21。完全免费，需自行部署。
它主要面向的使用场景是：评估微调大模型服务的隐私风险，检测训练数据泄露可能。同类可对比的替代方案包括 LiRA (Membership Inference Attacks)、PIA (Privacy Attacks on Language Models)、Can…。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
