一键还原生成模型微调前的原始权重，逆向去微调
Spectral-DeTuning 是 ICML 2024 论文的官方 PyTorch 实现，旨在恢复生成模型在微调前的原始权重。它解决了当模型（如 Stable Diffusion、LLaMA2、Mistral）经过 LoRA 等参数高效微调后，如何逆向移除微调影响、还原基础模型的问题。核心能力包括：基于权重空间学习的频谱分解方法，通过分析微调前后权重的频谱变化，实现精确的权重回滚；支持多种生成模型架构，涵盖图像生成和文本生成；提供去微调（DeTuning）工具，可用于模型审计、安全对齐去除（如 jailbreak 场景）以及模型合并等。项目代码结构清晰，包含预训练权重和推理脚本，便于研究者复现和扩展。
Task Vector、LoRA、Weight Averaging
Spectral-DeTuning 是模型训练领域的开源项目，由 eliahuhorwitz 开发，2024 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 86。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-04-27。代码公开，可自行部署使用，无付费版本。
它主要面向的使用场景是：模型审计：检查生成模型是否被恶意微调（如植入后门）。同类可对比的替代方案包括 Task Vector、LoRA、Weight Averaging。
下一篇：UniDiffusion
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
