parameter-golf
16MB 内训练最强小语言模型，同台比拼
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-26 · 当前星标 ★ 5200
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境（项目使用 Python 实现）
- 支持训练的 GPU 环境，官方基准使用 8xH100
- 可访问 GitHub 以获取仓库代码
- 用于存放 16MB 以内模型产物的本地磁盘
安装与启动步骤
-
1克隆项目仓库
从项目地址获取源码，后续所有训练与评测脚本都在该仓库内。
git clone https://github.com/openai/parameter-golf.git -
2进入项目目录
切换到仓库根目录，再阅读 README 中的 Getting Started 部分，确认官方入口脚本与依赖。
cd parameter-golf -
3准备 Python 依赖
README 节选未给出依赖清单，请以仓库内 requirements 或 Getting Started 说明为准安装，不要自行猜测包名。
-
4准备评测数据
评测在 FineWeb 验证集上以 bits per byte 计算压缩效果，需按仓库说明准备对应验证数据。
-
5训练并检查产物体积
按仓库提供的训练流程执行，确认最终模型产物不超过 16MB 后再提交评测。
如何确认成功
README 节选未给出启动命令，无法确认运行状态；能确认的是仓库克隆完成且本地存在 16MB 以内的模型产物。
常见问题
Q：必须使用 8 张 H100 吗？
A：README 中的基准设定为在 8xH100 上 10 分钟内完成训练，属于官方对比条件；其他硬件可尝试，但结果不具备同等可比性。
Q：评测指标是什么？
A：在 FineWeb 验证集上按 bits per byte 计算压缩效果，该指标与分词器无关，因此不同分词方案之间可直接比较。
Q：模型体积如何限制？
A：提交的模型产物必须能放进 16MB 的 artifact 内，超出即不符合挑战规则。
Q：没有安装说明怎么办？
A：README 节选只到 Getting Started 标题，缺少正文；请直接在仓库内查看该章节与示例脚本，按实际写明的命令执行。
注意事项
- README 节选缺少 Getting Started 正文，本教程仅包含可从现有信息推断的准备动作，不含具体训练命令。
- 挑战目标是在固定参数量预算下降低 loss，数据量、算力、步数和架构均不受限制。
- 提交前建议本地先按 bits per byte 指标自测，避免因体积或格式问题被判无效。
核心亮点
- 以 16MB 硬性体积上限为约束，目标明确、结果可量化对比
- 提供统一评测与排行榜，便于横向比较不同小模型方案
- 聚焦极端资源受限下的训练与压缩策略，实用性强
不足之处
- 竞赛导向，评测指标与真实业务场景可能存在差距
- 文档与社区规范仍在成长中，参与体验待观察
适用场景
- 端侧或嵌入式设备的轻量语言模型选型
- 研究小参数预算下的模型架构与量化蒸馏方法
- 教学与黑客松中作为受限资源建模的实践题目
替代项目
nanoGPT、minGPT、llm.c
上一篇：Prism
下一篇：没有了！
同类项目推荐
huggingface-gemma-recipes
开源
照着 Notebook 跑，Gemma 推理微调一步到位
Inference, Fine Tuning and many more recipes with Gemma family of models
e4t-diffusion
开源
输入一张图，秒级生成个性化图像，免去繁琐微调
Implementation of Encoder-based Domain Tuning for Fast Personalization of Text-to-Im···
TorchSpec
开源
用 PyTorch 原生训练投机解码草稿模型，推理直接提速
A PyTorch native library for training speculative decoding models
kikiri-tts
开源
给 Kokoro 模型加新语言，照着文档就能微调
This project provides a complete, documented training recipe for fine-tuning Kokoro-···
DMax
开源
让扩散大模型生成提速，并行解码不再卡顿
[NeurIPS 2026] DMax: Aggressive Parallel Decoding for dLLMs
GuidedQuant
开源
用端到端损失引导量化，让大模型压缩后不掉点
Official PyTorch implementation of "GuidedQuant: Large Language Model Quantization v···
DS2
开源
用 LLM 评分自动筛数据，少数据也能训出好模型
[ICLR 2025] Official implementation of paper "Improving Data Efficiency via Curating···
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
CICD-for-Machine-Learning
开源
用GitHub Actions一键跑通模型训练到部署全流程
A beginner's project on automating the training, evaluation, versioning, and deploym···