
higgsfield
让万亿参数模型训练不再怕GPU故障,自动容错编排
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 6299
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 可运行 pip 的 Python 环境(README 未指定具体版本)
- 一个或多个 GPU 计算节点,用于多节点分布式训练
- PyTorch 环境:框架支持 ZeRO-3 DeepSpeed 与 PyTorch FSDP API
- GitHub 账号(README 提到与 GitHub、GitHub Actions 做持续集成)
安装与启动步骤
-
1安装 higgsfield
README 的 Install 章节只给出一条安装命令,指定了 0.0.3 版本,建议照抄不要随意改版本号。
pip install higgsfield==0.0.3 -
2阅读 setup 指南
Getting started 指向仓库的 setup.md,这是节点配置与启动训练的完整快速入门,务必先通读。
-
3初始化项目
按 setup.md 的 Initialize the project 一节创建/初始化你的训练项目,README 未给出该步具体命令。
-
4配置环境
按 setup.md 的 Setup the environment 一节的说明准备运行环境与依赖,README 未列出细节。
-
5配置 Git
按 setup.md 的 Setup git 一节完成 Git 配置,用于后续与 GitHub / GitHub Actions 的持续集成。
-
6配置训练节点
按 setup.md 的 Time to setup your nodes 一节把 GPU 节点接入,节点是框架分配计算资源的基本单位。
-
7编写训练脚本
从 higgsfield.llama 引入 Llama70b、从 higgsfield.loaders 引入 LlamaLoader、从 higgsfield.experiment 引入 experiment,并用 @experiment
-
8运行首个实验
按 setup.md 的 Run your very first experiment 启动训练,任务会进入队列等待资源分配;README 未给出运行命令。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
higgsfield 版本 | 是 | pip 安装时锁定的发行版本,README 明确使用 0.0.3。 | 0.0.3 |
experiment 名称 | 否 | @experiment 装饰器的参数,用于标识本次训练实验。 | alpaca |
如何确认成功
执行 pip show higgsfield,确认已安装且版本为 0.0.3;训练是否真正跑通需按 setup.md 流程确认。
常见问题
Q:应该安装哪个版本?
A:README 的 Install 章节给出的是 pip install higgsfield==0.0.3,直接照此安装即可,不要自行改动版本号。
Q:支持哪些并行训练方式?
A:README 说明支持 ZeRO-3 的 DeepSpeed API 以及 PyTorch 的 fully sharded data parallel(FSDP)API,可对万亿参数模型做分片。
Q:安装完就能直接训练吗?
A:不能。除安装包外,还需按 setup.md 完成项目初始化、环境、Git 和节点配置,README 只提供了总览和示例片段。
Q:完整的部署步骤在哪里?
A:在仓库的 setup.md 中,README 的 Getting started 只列出章节链接,未给出具体命令和参数。
注意事项
- README 未提供任何端口、路径、集群配置文件或启动命令,这些细节必须查阅 setup.md,请勿凭猜测填写。
- README 中的训练示例是截断的代码片段,只展示了 import 和装饰器写法,实际训练循环与数据加载需自行补全。
- 该框架面向多节点 GPU 编排,单机环境并不能体现其容错与调度能力。
- 项目开发语言为 Jupyter Notebook,示例场景更偏向 Notebook 交互式使用。
核心亮点
- 内置故障检测与自动恢复机制,显著降低长时训练中断风险
- 资源调度算法针对多节点集群优化,支持弹性伸缩与动态分配
- 基于Jupyter Notebook,上手门槛低,适合快速实验与迭代
不足之处
- 项目尚处成长阶段,生产环境稳定性验证案例有限
- 文档/社区待观察
适用场景
- 大规模语言模型预训练与微调
- 科研机构进行千亿级参数模型实验
- 企业构建高可用GPU训练基础设施
替代项目
Horovod、DeepSpeed、Ray
同类项目推荐
mixture_of_recursions
开源
让简单 token 提前下班,难 token 多算几轮,省算力不降质
Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Co···
distill-sd
开源
把大模型蒸馏成小模型,低显存也能跑高质量图像生成
Segmind Distilled diffusion
TOTEM
开源
把时间序列变成 token,一个模型搞定预测、分类、异常检测
The official code for - TOTEM: TOkenized Time Series EMbeddings for General Time ···
kohya_ss-docker
开源
在 Linux 上用 Docker 一键跑 kohya_ss,轻松微调 SD 模型
This is the tandem repository to exploit on linux the kohya_ss training webui conver···
kohya-colab
开源
打开 Colab 就能训自己的 SD LoRA
Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···
native-sparse-attention-triton
开源
用Triton实现原生稀疏注意力,长序列推理提速降本。
Efficient triton implementation of Native Sparse Attention.
safetensors_util
开源
轻松管理 Safetensors 模型,玩转 Stable Diffusion 与 LoRA
Utility for Safetensors Files
surogate
开源
用 C++ 和 CUDA 把大模型微调速度拉到极致
Train and serve LLMs at extreme speed and massive throughput.
gigaevo-core
开源
让大模型当变异器,自动迭代把程序改到更好
Evolutionary algorithm that uses Large Language Models (LLMs) to automatically impro···