TreeLoRA
用树状 LoRA 分层管理任务，持续学习不遗忘
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 350
核心亮点
- 提出新颖的梯度相似性树结构，动态决定 LoRA 层分配，显著缓解灾难性遗忘
- 基于 ICML 2025 论文，方法经过学术验证，实验数据详实
- PyTorch 实现，代码模块化，易于复现和集成到现有持续学习流程
不足之处
- 早期项目，文档和社区支持待观察
- 树构建与梯度计算可能引入额外开销，大规模任务下效率待验证
适用场景
- 持续学习研究：在多个顺序任务上训练模型而不遗忘旧知识
- 参数高效微调：在资源受限场景下为每个任务定制轻量 LoRA 模块
- 多任务学习：通过树结构共享和隔离任务知识，提升泛化能力
替代项目
LoRA、ProgPrompt、PackNet
下一篇：align-anything
同类项目推荐
MoE-plus-plus
开源
零计算专家，让MoE模型更快更省，性能不减
[ICLR 2025] MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Exp···
how-to-train-your-gpt
开源
手把手从零写GPT，每行代码都讲透
Build a modern LLM from scratch. Every line commented. Explained like we are five.
model-optimization
开源
几行代码压缩模型，让大模型跑进手机和嵌入式设备
A toolkit to optimize ML models for deployment for Keras and TensorFlow, including q···
stable-dreambooth
开源
用最少代码微调 Stable Diffusion，几张图定制专属模型。
Dreambooth implementation based on Stable Diffusion with minimal code.
DeepGNN
开源
让十亿级图数据的 GNN 训练跑得动、跑得快
DeepGNN is a framework for training machine learning models on large scale graph dat···
dLLM-RL
开源
给扩散大模型装上强化学习引擎，训练出 SOTA 的 TraDo 系列
[ICLR 2026] Official code for TraceRL: Revolutionizing post-training for Diffusion L···
MLX-LoRA-Studio
开源
Mac 上点几下就完成大模型 LoRA 微调，数据不出本机
A native Mac App for LLM fine-tuning on Apple Silicon — fully on-device, fully open···
Liger-Kernel
开源
不改模型结构，给 LLM 训练省显存提吞吐
Efficient Triton Kernels for LLM Training
DuQuant
开源
双变换打散异常值，低比特量化模型更强
[NeurIPS 2024 Oral] DuQuant: Distributing Outliers via Dual Transformation Makes Str···