DoRA

把LoRA拆成幅度和方向，微调效果更准更稳

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 70 🐛 待处理 21 👀 关注 12

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1008

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队NVlabs

官网地址https://nbasyl.github.io/DoRA-project-page

GitHubhttps://github.com/NVlabs/DoRA

定价模式🏷️完全免费

价格说明开源项目，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型commonsense-reasoning,deep-learning,deep-neural-networks,instruction-tuning,large-language-models,large-vision-language-models,lora,parameter-efficient-fine-tuning,parameter-efficient-tuning,vision-and-language

GitHub 星标★ 1008

上线时间2024-04-11 00:00:00

代码更新2026-03-24

仓库体积3.1 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

DoRA（权重分解低秩适配）是ICML 2024口头报告论文的官方PyTorch实现，一种参数高效微调方法。它通过将预训练权重分解为幅度和方向两个分量，并对方向分量应用低秩适配，解决了LoRA在微调中学习模式受限的问题。DoRA在保持与LoRA相当甚至更低显存开销的同时，显著提升了微调性能，尤其在低秩设置下表现突出，已在自然语言处理、图像生成等任务上验证了其有效性。核心能力包括：权重分解策略、与LoRA无缝集成、支持多种预训练模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1008

技术标签

deep-learning deep-neural-networks instruction-tuning large-language-models large-vision-language-models

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 15 分钟部署方式：库/依赖 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境与 PyTorch（DoRA 为官方 PyTorch 实现）
支持 DoRA 的 HuggingFace PEFT 版本（官方推荐入口）
用于微调的预训练模型，如 LLaMA、LLaVA、VL-BART
可运行微调训练的 GPU 资源（显存开销与 LoRA 相当或更低）

安装与启动步骤

1确认 DoRA 入口

README 明确 DoRA 已集成到 HuggingFace PEFT，应通过 PEFT 使用，无需单独安装本仓库代码。
2查阅官方文档

README 要求参考 PEFT 官方文档完成安装与参数配置，按文档安装支持 DoRA 的 PEFT 版本。
3启用 DoRA 配置

在微调配置中设置 use_dora=True 即可开启权重分解低秩适配，其余参数按官方文档补齐。
```
config = (
    use_dora=True, ...
)
```
4准备预训练模型

选择 LLaMA、LLaVA 或 VL-BART 等预训练模型，按既有 LoRA 微调流程加载权重。
5执行微调训练

在常识推理等下游任务上微调，DoRA 提升学习能力与训练稳定性，不引入额外推理开销。
6对比评估效果

用相同设置分别跑 DoRA 与 LoRA 基线，确认 DoRA 在低秩设置下指标更优。

关键配置

配置项	必填	说明	示例
`use_dora`	是	在微调配置中启用 DoRA 的权重分解低秩适配	`True`

如何确认成功

微调在下游任务（如常识推理）上训练正常完成，且评测指标优于同等设置的 LoRA 基线。

常见问题

Q：使用 DoRA 需要额外安装本仓库吗？

A：不需要。README 说明 DoRA 已集成在 HuggingFace PEFT 中，直接在微调配置里设置 use_dora=True 即可启用。

Q：DoRA 会增加推理开销吗？

A：不会。README 指出 DoRA 通过权重分解与低秩方向更新，避免了任何额外的推理开销。

Q：支持哪些模型和任务？

A：README 提到已在 LLaMA、LLaVA、VL-BART 上验证，覆盖常识推理等多种下游任务。

Q：低秩设置下效果如何？

A：README 表示 DoRA 一致优于 LoRA，尤其在低秩设置下提升明显。

注意事项

README 未提供安装命令，实际安装请以 HuggingFace PEFT 官方文档为准。
官方文档地址：https://huggingface.co/docs/peft/en/developer_guides/lora#weight-decomposed-low-rank-adaptation-dora
论文地址：https://arxiv.org/abs/2402.09353，项目主页：https://nbasyl.github.io/DoRA-project-page