CorDA

用上下文感知的低秩分解，让大模型微调更省资源更精准

CorDA 是一个面向大语言模型的参数高效微调方法，核心思路是通过上下文导向的分解适配，将模型权重分解为可学习的低秩适配器，从而在保持模型性能的同时大幅减少训练参数。它解决了传统全量微调成本高、资源消耗大的问题，特别适用于任务感知的微调场景。CorDA 支持多种主流大模型架构，提供简洁的 API 和训练脚本，用户可快速上手。其创新点在于分解策略结合了任务上下文信息，使得适配器更精准地捕捉任务相关特征，在少样本和资源受限环境下表现突出。项目发表于 NeurIPS 2024，代码开源，便于研究者复现和扩展。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 60

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队iboing

所属国家

官网地址

GitHubhttps://github.com/iboing/CorDA

定价模式free

价格说明开源项目，Apache-2.0许可证，完全免费，需自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型catastrophic-forgetting,large-language-models,parameter-efficient-fine-tuning,task-aware-fine-tuning,world-knowledge

GitHub 星标★ 60

30天Star增速

HF 下载量

上线时间2024-06-06 00:00:00

最近更新2026-08-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

基于 NeurIPS 2024 论文，方法有理论支撑，分解策略新颖
参数高效，显著降低微调显存和计算开销，适合单卡训练
提供清晰训练脚本和示例，上手门槛低，便于快速验证

不足之处

项目处于早期，星标少，社区生态和文档完善度待观察
目前仅支持部分模型架构，扩展性需进一步验证

适用场景

在单卡或低资源环境下微调大模型
针对特定任务（如分类、生成）做快速适配
研究参数高效微调方法的对比和复现

替代项目

LoRA、QLoRA、AdapterHub

项目介绍

CorDA 是模型训练领域的开源项目，由 iboing 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 60。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-17。Apache-2.0许可证，完全免费，需自行部署使用。

它主要面向的使用场景是：在单卡或低资源环境下微调大模型。同类可对比的替代方案包括 LoRA、QLoRA、AdapterHub。

上一篇：SPPO

下一篇：Chain-of-Embedding