litData
几行代码优化数据管道，让 GPU 不再等数据
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 617
使用教程
环境要求
- Python 3.9+
- 训练框架与数据集
- 多核 CPU 或 GPU
安装与启动步骤
-
1装带扩展的版本
要读云端数据源就把扩展依赖一起装上。
pip install 'litdata[extras]' huggingface_hub -
2转成流式格式
核心价值在这步，原始文件会被切成可并行读取的分片。
-
3接进训练循环
换成流式数据集后，其余训练代码基本不用动。
-
4量吞吐变化
对比转换前后每秒样本数，没提升说明瓶颈不在读数据。
如何确认成功
同一份数据转换前后跑同样的训练步数，每秒处理样本数明显上升且结果一致
注意事项
- 它解决的是数据加载拖慢训练，不改变模型本身。
- 小数据集上收益不明显，样本量越大越值。
- 分片粒度要跟你的批次大小匹配，配错反而更慢。
- 转换是一次性成本，之后复用目录即可。
核心亮点
- 与 PyTorch DataLoader 兼容，替换成本低，几行代码即可接入
- 分块二进制+内存映射，减少随机 I/O，提升吞吐
- 支持超大规模数据集流式读取，内存占用可控
不足之处
- 项目尚处早期，API 可能变动，生产稳定性待验证
- 需要先做一次数据格式转换，增加预处理步骤
适用场景
- 大规模图像分类训练中 GPU 利用率低、数据加载慢
- 多机多卡训练时数据读取成为瓶颈
- 云端存储上的海量数据集需要高效流式加载
替代项目
WebDataset、FFCV、NVIDIA DALI
上一篇：VeOmni
下一篇：ai8x-training
同类项目推荐
LLM-ESR
开源
让大模型推理步步为营，减少中间错误，提升最终答案准确率。
[NeurIPS'24 Spotlight] The official implementation code of LLM-ESR.
fasttrackml
开源
高速实验跟踪，让海量ML实验不卡顿
Experiment tracking server focused on speed and scalability
whisper-vits-japanese
开源
只有音频也能训练日语VITS，Whisper自动生成文本标注
Vits Japanese with Whisper as data processor (you can train your VITS even you only ···
hyperdreambooth
开源
秒级生成专属人像，无需漫长训练
Implementation of HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to···
Rearchitecting-LLMs
开源
手把手教你剪枝、蒸馏、优化注意力，免费GPU跑通
Official code for the Manning book on structural LLM optimization: depth/width pruni···
mnist-mlops-learning
开源
用MNIST示例快速上手MLflow+FastAPI+Streamlit的MLOps全流程
In this project I played with mlflow, streamlit and fastapi to create a training and···
NeoHorse
开源
让模型自己出题、自己训练、自己变强
NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routin···
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
brevitas
开源
PyTorch 模型一键量化，低比特也能高精度跑上 FPGA
Brevitas: neural network quantization in PyTorch