ANeurIPS2024_SPV-MIA
用自提示校准精准识别训练数据，评估大模型隐私泄露风险
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 182
核心亮点
- 方法创新：自提示校准机制有效提升成员推理攻击准确率，在多个模型和数据集上验证优于现有基线
- 代码完整：提供训练、攻击、评估全流程脚本，配置清晰，易于复现 NeurIPS 论文结果
- 兼容性好：支持多种主流大语言模型和微调方式（LoRA、全量），可直接应用于实际模型
不足之处
- 依赖计算资源：运行攻击需要较大显存和算力，普通个人设备难以直接跑通
- 文档/社区待观察：项目处于早期，文档和社区支持尚不完善，使用中可能遇到问题需自行排查
适用场景
- 评估微调大模型服务的隐私风险，检测训练数据泄露可能
- 研究成员推理攻击的学术实验，对比不同攻击方法效果
- 开发隐私保护技术时，作为攻击基线测试防御机制有效性
替代项目
LiRA (Membership Inference Attacks)、PIA (Privacy Attacks on Language Models)、Canary (Membership Inference on Text)
同类项目推荐
CS-Eval
开源
给网络安全大模型打分，快速找出安全能力短板
CS-Eval is a comprehensive evaluation suite for fundamental cybersecurity models or ···
botsim
开源
自动仿真对话，快速揪出聊天机器人短板
BotSIM - a data-efficient end-to-end Bot SIMulation toolkit for evaluation, diagnosi···
RWKU
开源
给大模型做“记忆清除手术”，并验证效果是否达标
RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models. NeurIP···
AssetOpsBench
开源
工业设备运维智能体，一套基准直接评测落地
AssetOpsBench - Industry 4.0: A unified benchmark and framework for building, orches···
S-Eval
开源
一键自动化评估大模型安全，覆盖多风险场景
S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Mod···
modelbench
开源
给 AI 模型做安全体检，一键出详细报告
Run safety benchmarks against AI models and view detailed reports showing how well t···
Awesome-Video-MLLMs
开源
一站式追踪视频多模态大模型前沿，快速找到所需模型和基准。
:fire: :fire: :fire: Awesome MLLMs/Benchmarks for Short/Long/Streaming Video Underst···
autoarena
开源
自动两两PK，快速选出最优LLM或RAG配置
Rank LLMs, RAG systems, and prompts using automated head-to-head evaluation
AI-ML-Free-Resources-for-Securit···
开源
照着路线图学，从零入门 AI 渗透与提示注入
AI/ML Pentesting Roadmap for Beginners