LoRI

多任务微调不打架,LoRA 参数更高效

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 15 🐛 待处理 3 👀 关注 4
GitHub ↗
GitHub 星标 ★ 175
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费

项目预览

LoRI 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队juzhengz
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型continual-learning,large-language-models,lora,model-merging,parameter-efficient-fine-tuning
GitHub 星标★ 175
上线时间2025-04-09 00:00:00
代码更新2025-07-08
仓库体积24.1 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

LoRI 是一个针对多任务低秩适配(LoRA)的改进方法,旨在解决多任务学习中的跨任务干扰问题。它通过引入任务特定的低秩子空间和正交化约束,减少不同任务在参数更新时的相互干扰,从而提升多任务场景下的模型性能。该项目提供了完整的训练和评估代码,支持常见的 NLP 基准任务,并基于 PyTorch 实现。LoRI 的核心创新在于对低秩矩阵进行分解和约束,使得每个任务拥有独立的参数空间,同时保持整体参数的紧凑性。该工作发表于 COLM 2025,适合研究多任务学习、参数高效微调以及大模型适配的开发者使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 175

核心亮点

  • 提出正交低秩子空间方法,显著降低跨任务干扰,提升多任务性能
  • 基于 PyTorch 实现,代码结构清晰,易于复现和扩展
  • 支持多种 NLP 基准任务,实验设置完整,便于对比验证

不足之处

  • 文档/社区待观察
  • 仅支持特定任务集,通用性需进一步验证

适用场景

  • 多任务 NLP 模型微调,如同时处理情感分析、文本分类等
  • 参数高效迁移学习,在资源受限时适配多个下游任务
  • 研究低秩适配方法的改进与对比

替代项目

LoRA、AdaLoRA、MAM Adapter

上一篇:llamaduo

下一篇:ZO-LLM

同类项目推荐

maji-merger 开源

在 WebUI 里拖拽调参,几秒合并出全新模型

A WebUI extension for model merging

★ 72 2026-08-09
STEPQuant 开源

定位循环状态量化误差,让低比特 LLM 更稳

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

★ 102 2026-10-31
sd-webui-traintrain 开源

在 WebUI 里点几下就能训练自己的 LoRA 模型

LoRA training extention for Stable Diffusion Web-UI

★ 226 2026-09-18
nntrainer 开源

让手机家电自己训练模型,数据不出设备

NNtrainer is Software Framework for Training and Inferencing Neural Network Models o···

★ 215 2026-10-17
align-anything 开源

一套框架搞定全模态对齐训练,省时省力

Align Anything: Training All-modality Model with Feedback

★ 4669 2026-08-09
Flow-Factory 开源

让流匹配模型轻松学会强化学习,生成更符合目标的结果

A unified framework for easy fine-tuning in Flow-Matching models

★ 747 2026-08-09
jax-llm-examples 开源

纯JAX极简代码,跑通LLM训练与推理

Minimal yet performant LLM examples in pure JAX

★ 286 2026-09-16
awesome-llms-fine-tuning 开源

一站式收藏LLM微调资源,从入门到进阶少走弯路

Explore a comprehensive collection of resources, tutorials, papers, tools, and best ···

★ 532 2026-08-09
controlnet_stable_tensorrt 开源

用TensorRT加速Stable Diffusion+ControlNet,让可控生成更快更省显存。

stable diffusion, controlnet, tensorrt, accelerate

★ 70 2026-08-09