
Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models
大模型轻量微调方法一网打尽,选型不再翻论文
这是一个围绕基础模型参数高效微调(PEFT)的资源汇总项目,系统整理了在不大幅增加可训练参数的前提下适配大模型的方法与资料。它解决的核心问题是:全量微调大模型成本高、显存占用大、部署多任务时存储开销惊人,而普通开发者难以快速找到适合自己场景的轻量微调方案。项目以分类清单形式收录了 Adapter、LoRA、Prefix/Prompt Tuning、BitFit、IA3 等主流技术路线,并关联论文、代码库与综述,帮助研究者和工程师按任务类型、模型结构快速定位方法。核心能力是索引与导航:把分散在论文和仓库中的 PEFT 工作按类别聚合,降低检索成本,同时给出方法间的对比视角,便于选型和后续实验设计。适合作为入门地图或方案调研的起点。
项目数据
使用教程
核心亮点
- 按 Adapter、LoRA、Prompt Tuning 等路线分类整理,检索路径清晰
- 聚合论文与代码链接,省去逐个搜索的时间
- 覆盖多种基础模型场景,适合做方案调研的起点
不足之处
- 仅为资源清单,不含可运行代码或实验对比数据
- 更新频率与收录完整度依赖维护者,部分新方法可能滞后
适用场景
- 调研大模型轻量微调方案时快速建立技术全景
- 为显存受限的微调任务挑选合适方法
- 写综述或组会分享时收集参考文献与代码入口
替代项目
huggingface/peft、microsoft/LoRA
项目介绍
上一篇:onebitllms
下一篇:TabTune
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列,训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性,长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型,练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型,推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···