dolma

一键构建和质检大模型预训练数据，让数据可复现。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 207 🐛 待处理 30 👀 关注 23

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1562

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可免费使用和修改。

项目预览

项目数据

分类开源模型

开发团队allenai

官网地址https://allenai.github.io/dolma

GitHubhttps://github.com/allenai/dolma

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可免费使用和修改。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型data-processing,large-language-models,llm,machile-learning,nlp

GitHub 星标★ 1562

上线时间2023-06-20 00:00:00

代码更新2026-08-24

仓库体积64.8 MB

本站数据更新2026-11-07

维护状态维护中

收录时间2026-08-09

浏览次数6

项目介绍

Dolma 是 AI2 团队为 OLMo 系列模型开发的数据工具包，专注于预训练数据的生成与质量检查。它解决的核心问题是：大模型预训练数据规模庞大、来源混杂，难以保证质量和可复现性。Dolma 提供了一套标准化的数据流水线，支持从原始文本清洗、去重、过滤到最终混合配比的完整流程，并内置了数据可视化与统计分析功能，帮助研究者理解数据分布、识别潜在偏差。其核心能力包括高效的流式处理、灵活的插件化设计，以及可追溯的数据版本管理，使得构建高质量预训练数据集变得系统化和可审计。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1562

技术标签

data-processing large-language-models llm nlp

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目为 Python 编写的工具包）
可访问 GitHub 与 HuggingFace Hub 的网络
充足磁盘空间（Dolma 数据集为 3 万亿 token 规模）

安装与启动步骤

1克隆项目仓库

从 GitHub 获取 Dolma Toolkit 源码，后续请以仓库内 README 的安装说明为准。
```
git clone https://github.com/allenai/dolma.git
```
2进入项目目录

切换到克隆下来的仓库目录，查看 README 与 docs 下的官方文档。
```
cd dolma
```
3下载 Dolma 数据集

数据集托管在 HuggingFace Hub 的 allenai/dolma 页面，按该页面指引下载，注意磁盘与带宽。
4查阅官方文档

阅读官网文字说明与 data sheet，了解数据构成与流水线用法。