llm-foundry

开箱即用的生产级 LLM 训练框架，快速搞定预训练与微调

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 590 🐛 待处理 72 👀 关注 47 ⚠️ 作者已归档（停止维护）

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4460

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

项目数据

分类开源模型

开发团队mosaicml

官网地址https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

GitHubhttps://github.com/mosaicml/llm-foundry

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型deep-learning,llm,neural-networks,nlp,pytorch

GitHub 星标★ 4460

上线时间2023-04-28 00:00:00

代码更新2026-03-25

仓库体积78.9 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

llm-foundry 是 Databricks 开源的 LLM 训练框架，旨在为大规模基础模型训练提供生产级代码库。它解决了从数据准备到模型部署全流程的工程化问题，核心能力包括：支持灵活的模型架构（如 MPT、Llama 等）、高性能的数据流处理（基于 StreamingDataset）、分布式训练（集成 Composer 和 FSDP）、以及模型评估与微调工具。项目提供标准化脚本和配置，帮助开发者快速启动预训练、持续预训练、指令微调与 RLHF 流程，并兼容 Hugging Face 生态，便于模型导出和部署。其设计强调可复现性和可扩展性，适合需要深度定制训练流程的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4460

技术标签

deep-learning llm neural-networks nlp pytorch

使用教程

难度：进阶约 15 分钟部署方式：Docker 6 步

环境要求

已安装 PyTorch、CMake 和 packaging，否则需先执行 pip install cmake packaging torch
推荐在 mosaicml/llm-foundry Docker 镜像内运行（如 2.7.0_cu128-latest）
有 NVIDIA GPU 时使用 pip install -e ".[gpu]"，无 GPU 用 pip install -e .
不使用 Docker 时建议先创建并激活虚拟环境
官方 Docker 镜像基于 Python 3.12、Torch 2.7.0、CUDA 12.8

安装与启动步骤

1克隆代码仓库

从 GitHub 克隆 llm-foundry 仓库到本地，为后续安装和运行脚本做准备。
```
git clone https://github.com/mosaicml/llm-foundry.git
```
2进入项目目录

切换到克隆下来的 llm-foundry 目录，后续安装命令都在此目录执行。
```
cd llm-foundry
```
3安装基础依赖

README 假设已装 PyTorch、CMake、packaging；若没有，用此命令安装。
```
pip install cmake packaging torch
```
4安装 GPU 版本

有 NVIDIA GPU 时安装带 gpu 可选依赖的 llm-foundry 包，使用可编辑模式。
```
pip install -e ".[gpu]"
```
5安装 CPU 版本

若无 NVIDIA GPU，改用不带 gpu 可选依赖的可编辑安装。
```
pip install -e .
```
6进入脚本目录

Quickstart 从 scripts 目录开始，可继续跑数据准备、训练与推理脚本。
```
cd scripts
```