数据不够时，教你如何最优训练大模型
datablations 是一个研究数据受限条件下语言模型扩展规律的开源项目，由 Hugging Face 的研究人员发布。它通过系统的实验，探究当训练数据量有限时，模型规模、训练步数和数据重复次数如何影响模型性能，并提出了数据受限情况下的缩放法则（scaling laws）。项目提供了完整的实验代码、配置文件和结果分析，帮助研究者复现实验并理解在数据不足时如何最优地分配计算资源。核心能力包括：数据受限缩放定律的推导、模型性能预测、以及不同数据重复策略的对比分析。该项目对于数据稀缺领域的模型训练具有重要参考价值。
Chinchilla Scaling Laws、Scaling Laws for Neural Language Models、The Lazy Neuron Phenomenon
datablations 是模型训练领域的开源项目，由 huggingface 开发，2022 年首次发布。
它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 345。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-12。Apache-2.0 许可证，可自由使用，无付费版本。
它主要面向的使用场景是：数据稀缺领域（如医疗、法律）的大模型训练策略制定。同类可对比的替代方案包括 Chinchilla Scaling Laws、Scaling Laws for Neural Language Models、The Lazy Neuron …。
上一篇：Flipped-Learning
下一篇：SiLLM
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
