
Automodel
Hugging Face 模型直接多卡分布式微调,不改代码。
Automodel 是一个基于 PyTorch 分布式原生的 LLM/VLM 训练库,目标是让大模型微调像调用 Hugging Face 一样简单。它直接兼容 Hugging Face 生态,开箱即用,无需重写数据加载、模型定义或训练循环,就能把现有 HF 模型接入分布式训练。核心能力包括:支持张量并行、流水线并行、数据并行等混合并行策略,适配多卡和多机环境;覆盖 LLM 与视觉语言模型(VLM)两类训练任务;内置对 DeepSeek、Gemma、GLM、GPT-OSS、Kimi、Llama、Mistral、MiniMax 等主流模型结构的支持;提供微调(finetuning)与 agent 相关训练流程。它解决的是大模型训练中分布式配置复杂、与 HF 生态割裂、迁移成本高的问题,让研究者和工程团队用较低改造成本获得原生分布式训练能力。
项目数据
使用教程
核心亮点
- 原生兼容 Hugging Face,现有模型和数据集几乎零改造接入分布式训练
- 覆盖 LLM 与 VLM 两类模型,支持 DeepSeek、Llama、Gemma、GLM 等主流结构
- 基于 PyTorch 分布式原生实现,支持张量/流水线/数据并行等混合并行策略
不足之处
- 项目处于早期,星标约 954,生态和案例积累有限
- 文档与社区规模相对成熟训练框架仍有差距,生产验证待观察
适用场景
- 团队已有 Hugging Face 模型,想快速扩展到多卡多机微调
- 需要同时训练语言模型和视觉语言模型的研究项目
- 在自有集群上做 LLM 微调,希望减少分布式改造工作量
替代项目
DeepSpeed、Megatron-LM、Accelerate
项目介绍
上一篇:Tutel
下一篇:llm-engine
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列,训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性,长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型,练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型,推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···