TreeLoRA

用树状 LoRA 分层管理任务，持续学习不遗忘

TreeLoRA 是 ICML 2025 论文的 PyTorch 实现，面向持续学习（Continual Learning）场景，提出一种基于层级梯度相似性树的 LoRA 参数高效微调方法。它解决传统持续学习中灾难性遗忘和参数效率低下的问题，通过构建分层树结构来动态组织和复用不同任务对应的 LoRA 模块，在保留旧任务知识的同时高效学习新任务。核心能力包括：任务间梯度相似性度量与树构建、层间 LoRA 分配策略、以及基于树的参数复用与扩展机制。该方法在多个持续学习基准上展示了优于现有 LoRA 变体的性能，且参数量开销可控。项目代码结构清晰，提供训练与评估脚本，适合研究者和工程师复现或扩展。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 350

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ZinYY

所属国家

官网地址

GitHubhttps://github.com/ZinYY/TreeLoRA

定价模式free

价格说明开源项目，基于PyTorch实现，可自行部署使用，完全免费。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型continual-learning,large-language-model,large-language-models,llm,non-stationary-environment

GitHub 星标★ 350

30天Star增速

HF 下载量

上线时间2025-05-24 00:00:00

最近更新2026-07-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

提出新颖的梯度相似性树结构，动态决定 LoRA 层分配，显著缓解灾难性遗忘
基于 ICML 2025 论文，方法经过学术验证，实验数据详实
PyTorch 实现，代码模块化，易于复现和集成到现有持续学习流程

不足之处

早期项目，文档和社区支持待观察
树构建与梯度计算可能引入额外开销，大规模任务下效率待验证

适用场景

持续学习研究：在多个顺序任务上训练模型而不遗忘旧知识
参数高效微调：在资源受限场景下为每个任务定制轻量 LoRA 模块
多任务学习：通过树结构共享和隔离任务知识，提升泛化能力

替代项目

LoRA、ProgPrompt、PackNet

项目介绍

TreeLoRA 是模型训练领域的开源项目，由 ZinYY 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 350。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-22。基于PyTorch实现，可自行部署使用，完全免费。

它主要面向的使用场景是：持续学习研究：在多个顺序任务上训练模型而不遗忘旧知识。同类可对比的替代方案包括 LoRA、ProgPrompt、PackNet。

上一篇：verbalized-sampling

下一篇：align-anything