项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 122
核心亮点
- 代码结构精简，模块边界清晰，适合快速读懂并改造预训练流程
- 组件可插拔，数据管线、模型、优化器等环节能按需替换，便于做消融实验
- 提供训练入口、配置管理、检查点与日志等基础封装，省去重复搭脚手架的工作
不足之处
- 项目处于早期，功能覆盖和稳定性有限，缺少大规模训练场景的验证
- 文档与社区生态尚不完善，遇到问题可参考的资料较少
适用场景
- 研究者快速验证新的预训练数据配比或优化器改动
- 教学场景中讲解大模型预训练工程的完整链路
- 小团队在有限算力上搭建可复现的预训练实验基线
替代项目
Megatron-LM、DeepSpeed、litgpt
上一篇：miles_diffusion
下一篇：caret
同类项目推荐
Awesome-MLLM-Tuning
开源
多模态大模型微调不丢本事的论文与思路合集
Multimodal Large Language Model (MLLM) Tuning Survey: Keeping Yourself is Important ···
gpt-neox
开源
在GPU集群上训练GPT级大模型的开源并行框架
An implementation of model parallel autoregressive transformers on GPUs, based on th···
get_model
开源
模块化建模跨细胞类型转录调控，多模态数据一键训练
A modular framework for multimodal cross-cell-type transcriptional regulation models
privacy
开源
给模型训练加隐私锁，敏感数据也能放心训
Library for training machine learning models with privacy for training data
runbooks
开源
在K8s上声明式微调LLM，一键跑通训练全流程
Finetune LLMs on K8s by using Runbooks
lora-speedrun
开源
固定任务硬件，比谁把 LoRA 微调跑得最快
Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leade···
deita
开源
用更少的高质量数据，训出更强的对齐模型
Deita: Data-Efficient Instruction Tuning for Alignment [ICLR2024]
finetune-index-tts
开源
用笔记本微调 IndexTTS，打造专属声音模型
IndexTTS Fine-tuning notebooks
ms-swift
开源
一条命令微调千种大模型，从训练到部署全搞定
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-···