stable-pretraining

一键搭建稳定可扩展的预训练流程，专注模型研究而非工程细节。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 122 🐛 待处理 81 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 346
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源库，MIT许可证，免费使用，无付费版本。

项目预览

stable-pretraining 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队galilai-group
官网地址https://galilai-group.github.io/stable-pretraining
GitHubhttps://github.com/galilai-group/stable-pretraining
定价模式🏷️完全免费
价格说明开源库，MIT许可证，免费使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型computer-vision,computer-vision-algorithms,contrastive-learning,deep-learning,distributed,foundation-models,joint-embedding,joint-embedding-predictive-architecture,large-language-model,multimodal-learning,pytorch,self-supervised-learning,stable-pretraining,transformers
GitHub 星标★ 346
上线时间2024-07-23 00:00:00
代码更新2026-09-29
仓库体积230.0 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数7

项目介绍

stable-pretraining 是一个用于预训练基础模型和世界模型的 Python 库，主打可靠、极简和可扩展。它主要解决深度学习研究中预训练流程复杂、复现困难、扩展性差的问题，提供了一套标准化的训练范式。核心能力包括：支持视觉、对比学习、联合嵌入等多种算法，内置分布式训练支持，可轻松扩展到大规模计算集群。项目通过简洁的 API 设计和模块化架构，让研究者能快速搭建和迭代预训练实验，同时保证训练过程的稳定性和结果的可复现性。目前处于早期阶段，但设计理念清晰，适合作为预训练研究的实验基座。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 346

核心亮点

  • 极简 API 设计，几行代码即可启动预训练任务，降低上手门槛
  • 原生支持分布式训练，可无缝扩展到多机多卡环境
  • 内置多种视觉和对比学习算法，开箱即用覆盖常见预训练场景

不足之处

  • 项目处于早期阶段，文档和社区生态尚不完善
  • 功能覆盖有限，主要聚焦视觉领域，对 NLP 等模态支持不足

适用场景

  • 研究团队快速搭建视觉基础模型预训练实验
  • 需要大规模分布式预训练但缺乏工程经验的企业
  • 作为教学工具，用于理解预训练流程和对比学习原理

替代项目

Hugging Face Transformers、PyTorch Image Models (timm)、Lightning AI

上一篇：AwesomeOPD

下一篇：ml-engineering

同类项目推荐

long-context-attention 开源

把超长上下文注意力切到多卡上，训练推理都能跑更长

USP: Unified (a.k.a. Hybrid, 2D) Sequence Parallel Attention for Long Context Transf···

★ 696 2026-09-19
codebase-for-incremental-learnin··· 开源

让大模型学新知识不忘旧技能，复现ACL论文的增量学习工具箱

[ACL2024] A Codebase for Incremental Learning with Large Language Models; Official r···

★ 63 2026-08-09
dLLM-RL 开源

给扩散大模型装上强化学习引擎，训练出 SOTA 的 TraDo 系列

[ICLR 2026] Official code for TraceRL: Revolutionizing post-training for Diffusion L···

★ 523 2026-08-09
axolotl 开源

一条命令微调大模型，省心省力

Go ahead and axolotl questions

★ 12674 2026-08-09
transformer-tricks 开源

查Transformer加速技巧，少走弯路，直接上手

A collection of tricks and tools to speed up transformer models

★ 236 2026-08-09
Agent-FLAN 开源

让大模型学会用工具，微调数据与方法一键搞定

[ACL2024 Findings] Agent-FLAN: Designing Data and Methods of Effective Agent Tuning ···

★ 363 2026-08-09
TFMQ-DM 开源

给扩散模型瘦身，4-bit量化不降画质，部署提速。

[CVPR 2024 Highlight & TPAMI 2025] This is the official PyTorch implementation of "T···

★ 111 2026-08-09