higgsfield

让万亿参数模型训练不再怕GPU故障,自动容错编排

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 1174 🐛 待处理 21 👀 关注 96 ⚠️ 作者已归档(停止维护)
GitHub ↗
GitHub 星标 ★ 6299
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可,可免费使用和部署。

项目预览

higgsfield 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队higgsfield-ai
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型cluster-management,deep-learning,distributed,llama,llama2,llm,machine-learning,mlops,pytorch
GitHub 星标★ 6299
上线时间2018-05-26 00:00:00
代码更新2026-10-26
仓库体积4.9 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数4

项目介绍

higgsfield 是一个面向超大规模模型训练的容错型 GPU 编排与机器学习框架,专为数十亿至数万亿参数模型设计。它解决的核心问题是:在大规模分布式训练中,单点故障导致整个训练任务中断、以及资源调度效率低下的痛点。框架提供高可用的 GPU 集群管理能力,能够自动检测并隔离故障节点,实现训练任务的快速恢复;同时具备高度可扩展的调度算法,支持动态分配和弹性伸缩计算资源,以最大化利用多节点集群的算力。基于 Jupyter Notebook 技术栈,它降低了分布式训练的使用门槛,让研究者和工程师能够更便捷地编排大规模训练作业。项目目前处于成长阶段,社区活跃度中等,适合对超大规模模型训练基础设施有深度定制需求的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 6299

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:库/依赖 8 步

环境要求

  • 可运行 pip 的 Python 环境(README 未指定具体版本)
  • 一个或多个 GPU 计算节点,用于多节点分布式训练
  • PyTorch 环境:框架支持 ZeRO-3 DeepSpeed 与 PyTorch FSDP API
  • GitHub 账号(README 提到与 GitHub、GitHub Actions 做持续集成)

安装与启动步骤

  1. 1安装 higgsfield

    README 的 Install 章节只给出一条安装命令,指定了 0.0.3 版本,建议照抄不要随意改版本号。

    pip install higgsfield==0.0.3
  2. 2阅读 setup 指南

    Getting started 指向仓库的 setup.md,这是节点配置与启动训练的完整快速入门,务必先通读。

  3. 3初始化项目

    按 setup.md 的 Initialize the project 一节创建/初始化你的训练项目,README 未给出该步具体命令。

  4. 4配置环境

    按 setup.md 的 Setup the environment 一节的说明准备运行环境与依赖,README 未列出细节。

  5. 5配置 Git

    按 setup.md 的 Setup git 一节完成 Git 配置,用于后续与 GitHub / GitHub Actions 的持续集成。

  6. 6配置训练节点

    按 setup.md 的 Time to setup your nodes 一节把 GPU 节点接入,节点是框架分配计算资源的基本单位。

  7. 7编写训练脚本

    从 higgsfield.llama 引入 Llama70b、从 higgsfield.loaders 引入 LlamaLoader、从 higgsfield.experiment 引入 experiment,并用 @experiment

  8. 8运行首个实验

    按 setup.md 的 Run your very first experiment 启动训练,任务会进入队列等待资源分配;README 未给出运行命令。

关键配置

配置项必填说明示例
higgsfield 版本是pip 安装时锁定的发行版本,README 明确使用 0.0.3。0.0.3
experiment 名称否@experiment 装饰器的参数,用于标识本次训练实验。alpaca

如何确认成功

执行 pip show higgsfield,确认已安装且版本为 0.0.3;训练是否真正跑通需按 setup.md 流程确认。

常见问题

Q:应该安装哪个版本?

A:README 的 Install 章节给出的是 pip install higgsfield==0.0.3,直接照此安装即可,不要自行改动版本号。

Q:支持哪些并行训练方式?

A:README 说明支持 ZeRO-3 的 DeepSpeed API 以及 PyTorch 的 fully sharded data parallel(FSDP)API,可对万亿参数模型做分片。

Q:安装完就能直接训练吗?

A:不能。除安装包外,还需按 setup.md 完成项目初始化、环境、Git 和节点配置,README 只提供了总览和示例片段。

Q:完整的部署步骤在哪里?

A:在仓库的 setup.md 中,README 的 Getting started 只列出章节链接,未给出具体命令和参数。

注意事项

  • README 未提供任何端口、路径、集群配置文件或启动命令,这些细节必须查阅 setup.md,请勿凭猜测填写。
  • README 中的训练示例是截断的代码片段,只展示了 import 和装饰器写法,实际训练循环与数据加载需自行补全。
  • 该框架面向多节点 GPU 编排,单机环境并不能体现其容错与调度能力。
  • 项目开发语言为 Jupyter Notebook,示例场景更偏向 Notebook 交互式使用。

核心亮点

  • 内置故障检测与自动恢复机制,显著降低长时训练中断风险
  • 资源调度算法针对多节点集群优化,支持弹性伸缩与动态分配
  • 基于Jupyter Notebook,上手门槛低,适合快速实验与迭代

不足之处

  • 项目尚处成长阶段,生产环境稳定性验证案例有限
  • 文档/社区待观察

适用场景

  • 大规模语言模型预训练与微调
  • 科研机构进行千亿级参数模型实验
  • 企业构建高可用GPU训练基础设施

替代项目

Horovod、DeepSpeed、Ray

上一篇:SwanLab

下一篇:lorax

同类项目推荐

mixture_of_recursions 开源

让简单 token 提前下班,难 token 多算几轮,省算力不降质

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Co···

★ 650 2026-09-22
distill-sd 开源

把大模型蒸馏成小模型,低显存也能跑高质量图像生成

Segmind Distilled diffusion

★ 619 2026-08-09
TOTEM 开源

把时间序列变成 token,一个模型搞定预测、分类、异常检测

The official code ‍ for - TOTEM: TOkenized Time Series EMbeddings for General Time ···

★ 373 2026-08-09
kohya_ss-docker 开源

在 Linux 上用 Docker 一键跑 kohya_ss,轻松微调 SD 模型

This is the tandem repository to exploit on linux the kohya_ss training webui conver···

★ 116 2026-08-09
kohya-colab 开源

打开 Colab 就能训自己的 SD LoRA

Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···

★ 823 2026-09-18
safetensors_util 开源

轻松管理 Safetensors 模型,玩转 Stable Diffusion 与 LoRA

Utility for Safetensors Files

★ 102 2026-08-09
surogate 开源

用 C++ 和 CUDA 把大模型微调速度拉到极致

Train and serve LLMs at extreme speed and massive throughput.

★ 885 2026-08-10
gigaevo-core 开源

让大模型当变异器,自动迭代把程序改到更好

Evolutionary algorithm that uses Large Language Models (LLMs) to automatically impro···

★ 127 2026-09-15