RWKU

给大模型做“记忆清除手术”，并验证效果是否达标

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 10 🐛 待处理 8 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 103
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，无在线服务，需自行部署，完全免费。

项目预览

RWKU 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队jinzhuoran
官网地址https://rwku-bench.github.io
GitHubhttps://github.com/jinzhuoran/RWKU
定价模式🏷️完全免费
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型adversarial-attacks,benchmark,evaluation-framework,forgetting,large-language-models,membership-inference-attack,natural-language-processing,privacy-protection,right-to-be-forgotten,unlearning
GitHub 星标★ 103
上线时间2024-05-28 00:00:00
代码更新2024-09-30
仓库体积3.9 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

RWKU是一个针对大语言模型（LLM）的“知识遗忘”基准测试框架，源自NeurIPS 2024论文。它解决的是大模型在预训练中可能记住敏感、过时或侵权知识，导致合规风险的问题。该框架提供了一套标准化的评估流程，通过设计真实世界中的知识遗忘任务（如特定人物、事件或事实），衡量模型在遗忘指定知识后，是否仍能保持其余知识能力与生成质量。其核心能力包括：构建多样化的遗忘目标集、设计推理链与对抗性提示来检测残留记忆、以及评估遗忘后模型的通用能力（如常识、推理）是否受损。RWKU为研究者提供了一个可复现的基准，推动“机器遗忘”领域从理论走向实用，帮助开发更安全、合规的LLM应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 103

核心亮点

  • 首个聚焦真实世界知识遗忘的基准，覆盖人物、事件等复杂知识类型
  • 提供多维度评估指标，兼顾遗忘彻底性与模型能力保留度
  • 基于NeurIPS 2024论文，方法严谨，社区认可度高

不足之处

  • 项目处于早期，文档和示例代码不够完善
  • 仅支持Python，且依赖特定框架，上手门槛略高

适用场景

  • 合规审查：检测模型是否残留敏感个人信息或版权内容
  • 模型更新：定向移除过时或错误知识，避免误导用户
  • 安全研究：评估遗忘算法在对抗性攻击下的鲁棒性

替代项目

TOFU、MUSE、WhoIsHarryPotter

上一篇：VisualWebBench

下一篇：MMStar

同类项目推荐

Workspace-Bench 开源

在真实文件海洋中，检验智能体自我进化能力

Benchmark self-evolving Agent upon realistic large-scale file workspaces

★ 83 2026-08-09
llmspeed 开源

买显卡前先跑分，本地大模型速度一目了然

Feel how fast a local LLM runs before you buy the hardware

★ 171 2026-11-07
workshop 开源

让编码代理自己写评测、跑评测，回归验证不再靠手测

Give your coding agent the power to write and run agent evals.

★ 1120 2026-09-14
llm-leaderboard 开源

一站式对比LLM基准分数和价格，快速选型

A comprehensive set of LLM benchmark scores and provider prices. (deprecated, read m···

★ 356 2026-08-09
vitest-evals 开源

用 Vitest 写 LLM 评测，像跑单测一样跑模型回归

A vitest extension for running evals.

★ 363 2026-09-14
RouterArena 开源

统一基准评测 LLM 路由器，跑分上榜选型不踩坑

RouterArena: An open framework for evaluating LLM routers with standardized datasets···

★ 156 2026-10-07
nannyml 开源

模型上线后，用 nannyml 自动盯漂移和性能，提前报警

nannyml: post-deployment data science in python

★ 2161 2026-08-09
convex-evals 开源

给 Convex 后端做功能与安全体检，部署前拦住越权和逻辑错。

★ 129 2026-09-14
AlignBench 开源

测中文大模型对齐能力，多维打分看清模型强弱

大模型多维度中文对齐评测基准 (ACL 2024)

★ 433 2026-08-09