DoRA

把LoRA拆成幅度和方向，微调效果更准更稳

DoRA（权重分解低秩适配）是ICML 2024口头报告论文的官方PyTorch实现，一种参数高效微调方法。它通过将预训练权重分解为幅度和方向两个分量，并对方向分量应用低秩适配，解决了LoRA在微调中学习模式受限的问题。DoRA在保持与LoRA相当甚至更低显存开销的同时，显著提升了微调性能，尤其在低秩设置下表现突出，已在自然语言处理、图像生成等任务上验证了其有效性。核心能力包括：权重分解策略、与LoRA无缝集成、支持多种预训练模型。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 999

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队NVlabs

所属国家

官网地址https://nbasyl.github.io/DoRA-project-page

GitHubhttps://github.com/NVlabs/DoRA

定价模式free

价格说明开源项目，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型commonsense-reasoning,deep-learning,deep-neural-networks,instruction-tuning,large-language-models,large-vision-language-models,lora,parameter-efficient-fine-tuning,parameter-efficient-tuning,vision-and-language

GitHub 星标★ 999

30天Star增速

HF 下载量

上线时间2024-04-11 00:00:00

最近更新2026-09-19 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

相比LoRA，在低秩设置下准确率提升明显，尤其在GLUE基准上
显存开销与LoRA相当，但性能更接近全量微调
官方实现，代码结构清晰，易于集成到现有PyTorch项目

不足之处

目前仅支持PyTorch，未覆盖TensorFlow/JAX等框架
文档和示例相对简略，社区生态尚在早期

适用场景

大语言模型参数高效微调，如LLaMA、Mistral等
图像生成模型（如Diffusion）的轻量化适配
资源受限环境下的模型定制，如移动端或边缘设备

替代项目

LoRA、QLoRA、AdapterFormer

项目介绍

DoRA 是模型训练领域的开源项目，由 NVlabs 开发，2024 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（999）位列前 30%，在模型训练分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-19。完全免费，可自行部署使用。

它主要面向的使用场景是：大语言模型参数高效微调，如LLaMA、Mistral等。同类可对比的替代方案包括 LoRA、QLoRA、AdapterFormer。

上一篇：ToolOrchestra

下一篇：Visual-ERM