AlphaEdit
不改模型结构，精准修改大模型知识，性能不塌方
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 469
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python
- PyTorch
- CUDA GPU
安装与启动步骤
-
1准备环境
研究代码，环境按仓库给的来。
-
2下预训练权重
作者提供了已算好的中间矩阵，可直接用。
-
3跑编辑实验
先复现论文里的一组编辑。
-
4评估编辑效果
重点看编辑后是否影响其他知识。
如何确认成功
对模型里一条事实做一次编辑后，该事实能被正确回答，且相邻的无关问题答案没有明显变化
注意事项
- 它研究的是模型知识编辑，也就是在不重训的前提下改掉某条事实。
- 作者直接提供了预计算矩阵，省掉了最耗时的一步。
- 编辑的副作用（牵连到别的知识）是这类方法的核心风险，验收必须查。
- 不同模型规模的超参不同，换模型要重新调。
核心亮点
- 零空间约束技术，编辑知识时对模型其他能力干扰极小
- 支持批量编辑，效率高，适合大规模知识更新
- ICLR 2025 杰出论文，方法有理论保证，可信度高
不足之处
- 仅支持特定架构（如GPT、LLaMA），通用性受限
- 文档/社区待观察
适用场景
- 修正大模型中的过时或错误事实知识
- 为垂直领域模型注入新知识而不重训练
- 研究知识编辑技术，对比基线方法
替代项目
ROME、MEMIT、KnowledgeEditor
上一篇：Time-LLM
下一篇：MambaInLlama
同类项目推荐
AdaptiveDiffusion
开源
不重训直接加速扩散模型，生成更快更省算力
[NeurIPS'24] Training-Free Adaptive Diffusion with Bounded Difference Approximation ···
RandOpt
开源
在预训练权重附近挖出多个专家模型，提升泛化与集成效果
Official Codebase for "Neural Thickets: Diverse Task Experts Are Dense Around Pretra···
deita
开源
用更少的高质量数据，训出更强的对齐模型
Deita: Data-Efficient Instruction Tuning for Alignment [ICLR2024]
ReaLHF
开源
重新分配参数，让 RLHF 训练更快更省资源
Super-Efficient RLHF Training of LLMs with Parameter Reallocation
HoliTom
开源
合并视频令牌，让视频大模型推理快数倍
[NeurIPS 2025] HoliTom: Holistic Token Merging for Fast Video Large Language Models
oumi
开源
一条命令搞定 LLM 微调、评估与部署，让模型落地更简单。
Easily fine-tune (SFT/RL), evaluate, and deploy Qwen, Gemma, or any open agentic LLM···
regress-lm
开源
把回归变成生成，用预训练模型直接预测数值
Library for sequence-to-sequence numeric prediction, applicable to any tokenizable i···
Merge-Stable-Diffusion-models-wi···
开源
不训练，无损合并多个Stable Diffusion模型，统一风格与能力。
Adaptation of the merging method described in the paper - Git Re-Basin: Merging Mode···
LLMNodeBed
开源
统一基准，对比LLM节点分类算法，复现ICML论文结果。
[ICML 2025] Official implementation for paper "A Comprehensive Analysis on LLM-based···