mttl
给大模型挂载可插拔小模块，一个底座跑多个任务
mttl 是一个用于构建模块化语言模型的开源工具，核心思路是将大模型拆解为可组合的模块，并配合参数高效微调（PEFT）技术进行训练与复用。它解决的是传统微调中每个任务都要复制一份完整模型、存储和算力开销大的问题：通过只训练少量新增参数（如适配器、LoRA 等），让同一底座模型挂载多个任务模块，按需切换或组合。项目提供模块定义、训练流程和组合推理的接口，方便研究者快速实验多任务、多技能的语言模型。当前项目处于早期阶段，星标约 116，适合想探索模块化微调、适配器组合、持续学习方向的技术人员参考和二次开发。
开源
free
模型训练
GitHub 星标
★ 116
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类模型训练
开发团队microsoft
所属国家
定价模式free
价格说明开源免费，无在线服务
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型
GitHub 星标★ 116
30天Star增速
HF 下载量
上线时间2022-07-11 00:00:00
最近更新2026-08-25 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0
使用教程
核心亮点
- 围绕参数高效微调做模块化封装，能减少每个任务重复训练全量参数的开销
- 提供模块组合与复用的思路，便于多任务、持续学习场景实验
- Python 实现，代码结构相对轻量，适合作为研究原型二次开发
不足之处
- 项目处于早期，文档和示例可能不完整，上手需要读源码
- 生态和社区规模小，缺少预训练模块库与成熟生产案例
适用场景
- 研究多任务学习中适配器模块的组合与切换
- 在单张消费级显卡上为不同任务训练轻量微调模块
- 作为持续学习或技能叠加实验的代码基线
替代项目
AdapterHub、PEFT、LLaMA-Factory
项目介绍
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···