CorDA

用上下文感知的低秩分解,让大模型微调更省资源更精准

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 4 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 60
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,需自行部署使用。

项目预览

CorDA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队iboing
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型catastrophic-forgetting,large-language-models,parameter-efficient-fine-tuning,task-aware-fine-tuning,world-knowledge
GitHub 星标★ 60
上线时间2024-06-06 00:00:00
代码更新2025-01-13
仓库体积2.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

CorDA 是一个面向大语言模型的参数高效微调方法,核心思路是通过上下文导向的分解适配,将模型权重分解为可学习的低秩适配器,从而在保持模型性能的同时大幅减少训练参数。它解决了传统全量微调成本高、资源消耗大的问题,特别适用于任务感知的微调场景。CorDA 支持多种主流大模型架构,提供简洁的 API 和训练脚本,用户可快速上手。其创新点在于分解策略结合了任务上下文信息,使得适配器更精准地捕捉任务相关特征,在少样本和资源受限环境下表现突出。项目发表于 NeurIPS 2024,代码开源,便于研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 60

技术标签

核心亮点

  • 基于 NeurIPS 2024 论文,方法有理论支撑,分解策略新颖
  • 参数高效,显著降低微调显存和计算开销,适合单卡训练
  • 提供清晰训练脚本和示例,上手门槛低,便于快速验证

不足之处

  • 项目处于早期,星标少,社区生态和文档完善度待观察
  • 目前仅支持部分模型架构,扩展性需进一步验证

适用场景

  • 在单卡或低资源环境下微调大模型
  • 针对特定任务(如分类、生成)做快速适配
  • 研究参数高效微调方法的对比和复现

替代项目

LoRA、QLoRA、AdapterHub

上一篇:SPPO

下一篇:Chain-of-Embedding

同类项目推荐

modelkit 开源

让 ML 模型开发到上线更省心

Toolkit for developing and maintaining ML models

★ 149 2026-08-09
llm-engine 开源

自建大模型推理与微调平台,OpenAI 接口一键迁移

Scale LLM Engine public repository

★ 840 2026-09-16
SimPO 开源

去掉参考模型,用更简单的公式让模型更懂人类偏好

[NeurIPS 2024] SimPO: Simple Preference Optimization with a Reference-Free Reward

★ 964 2026-08-09
DoLa 开源

不重训模型,对比层输出,让大模型少说瞎话。

Official implementation for the paper "DoLa: Decoding by Contrasting Layers Improves···

★ 563 2026-08-09
MLOps_Workshop 开源

用 Azure 全家桶,把机器学习模型从实验快速推到生产。

Azure MLOps

★ 165 2026-08-09
Graph-CoT 开源

让大模型在知识图谱上一步步推理,提升复杂问答准确率

Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs (ACL···

★ 311 2026-08-09
align_sd 开源

让AI画图更懂你的审美,用人类偏好微调扩散模型。

Better Aligning Text-to-Image Models with Human Preference. ICCV 2023

★ 291 2026-08-09
TOTEM 开源

把时间序列变成 token,一个模型搞定预测、分类、异常检测

The official code ‍ for - TOTEM: TOkenized Time Series EMbeddings for General Time ···

★ 373 2026-08-09
azure-databricks-mlops-mlflow 开源

在 Azure Databricks 上快速搭建不依赖 MLflow Project 的 MLOps 流程

Azure Databricks MLOps sample for Python based source code using MLflow without usin···

★ 97 2026-08-09