Spectral-DeTuning

一键还原生成模型微调前的原始权重,逆向去微调

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 4 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 86
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码公开,可自行部署使用,无付费版本。

项目预览

Spectral-DeTuning 项目界面预览图
图片来源:项目官网

项目数据

分类图像生成
开发团队eliahuhorwitz
定价模式🏷️完全免费
价格说明开源项目,代码公开,可自行部署使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型deep-learning,jailbreak,llama2,llm,lora,machine-learning,mistral,stable-diffusion,weight-space-learning
GitHub 星标★ 86
上线时间2024-02-11 00:00:00
代码更新2025-04-15
仓库体积13.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

Spectral-DeTuning 是 ICML 2024 论文的官方 PyTorch 实现,旨在恢复生成模型在微调前的原始权重。它解决了当模型(如 Stable Diffusion、LLaMA2、Mistral)经过 LoRA 等参数高效微调后,如何逆向移除微调影响、还原基础模型的问题。核心能力包括:基于权重空间学习的频谱分解方法,通过分析微调前后权重的频谱变化,实现精确的权重回滚;支持多种生成模型架构,涵盖图像生成和文本生成;提供去微调(DeTuning)工具,可用于模型审计、安全对齐去除(如 jailbreak 场景)以及模型合并等。项目代码结构清晰,包含预训练权重和推理脚本,便于研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 86

核心亮点

  • 提出频谱分解方法,精准分离微调增量,还原效果优于直接权重插值
  • 官方实现,代码完整,支持 Stable Diffusion、LLaMA2、Mistral 多模型
  • 附带预训练权重和演示脚本,开箱即用,复现论文结果方便

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 依赖特定模型架构,通用性可能受限

适用场景

  • 模型审计:检查生成模型是否被恶意微调(如植入后门)
  • 安全对齐:移除模型微调后的不安全行为(如 jailbreak)
  • 模型合并:将多个微调模型回滚到基础版本后重新组合

替代项目

Task Vector、LoRA、Weight Averaging

上一篇:spirit-lora-trainer

下一篇:UniDiffusion

同类项目推荐

EasyWAM 开源

一套代码搞定世界动作模型的训练、微调与评测

A unified framework for training, fine-tuning, and evaluating World Action Models

★ 406 2026-09-16
lightly-train 开源

一个命令搞定视觉模型预训练、微调和蒸馏,告别碎片化流程。

All-in-one training for vision models (YOLO, ViTs, RT-DETR, DINOv3): pretraining, fi···

★ 1729 2026-08-13
model-optimization 开源

几行代码压缩模型,让大模型跑进手机和嵌入式设备

A toolkit to optimize ML models for deployment for Keras and TensorFlow, including q···

★ 1582 2026-10-17
ml-template-azure 开源

在 Azure 上快速搭建自动化机器学习流水线,省去从零配置的麻烦。

Template for getting started with automated ML Ops on Azure Machine Learning

★ 131 2026-08-09
TimeSeriesGAN 开源

用 GAN 生成逼真时间序列,搞定数据增强和异常检测

GANs for Time series analysis (Synthetic data generation, anomaly detection and inte···

★ 70 2026-08-09
tempo 开源

把训练好的模型一键打包部署,快速上线生产环境

MLOps Python Library

★ 122 2026-08-09
rllm 开源

把多张关系表变成图,用 GNN+LLM 一起做表格预测

Pytorch Library for Relational Table Learning with LLMs.

★ 441 2026-11-07
grafting 开源

像嫁接植物一样组合扩散模型架构,快速找到最优设计。

[NeurIPS 2025 Oral] Official Code for Exploring Diffusion Transformer Designs via Gr···

★ 77 2026-08-09