给数学大模型喂高质量语料，提升推理能力。
MathPile 是一个面向数学领域的大规模高质量预训练语料库，由 CAMEL-AI 团队构建，相关论文发表于 NeurIPS 2024 Datasets & Benchmarks 轨道。它旨在解决通用语料中数学内容占比低、噪声大、专业术语和推理链条不足的问题，为数学大模型提供纯净、结构化的训练数据。MathPile 从 arXiv、网页、教科书、代码等多种来源收集原始数据，经过严格的清洗、去重、质量过滤和格式标准化，最终形成包含约 95 亿 token 的语料库，并公开了完整的构建流程和工具。其核心能力包括：多源数据整合、细粒度质量分级（如按难度和来源分类）、可复现的数据处理管线，以及支持研究者基于该语料微调或预训练数学推理模型。项目开源了数据、代码和文档，便于社区复现和扩展。
OpenWebMath、Proof-Pile-2、MathPile（自身）
MathPile 是数据集领域的开源项目，由 GAIR-NLP 开发，2023 年首次发布。
它收录于数据集分类，该分类目前共有 279 个项目，GitHub 星标数为 419。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-05。Apache-2.0许可证，可自由使用和部署，无付费版本。
它主要面向的使用场景是：预训练数学推理大模型，如训练GPT-like模型时注入数学知识。同类可对比的替代方案包括 OpenWebMath、Proof-Pile-2、MathPile（自身）。
下一篇：DataGen
X-AnyLabeling
开源
一站式AI辅助标注，图像视频文本通吃，导出格式随心配
X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···
aisheets
开源
像用表格一样批量调 AI，不写代码就能造和改数据集
Build, enrich, and transform datasets using AI models with no code
distilabel
开源
基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。
Distilabel is a framework for synthetic data and AI feedback for engineers who need ···
DataGen
开源
用大模型一键生成定制化训练数据，告别数据荒
[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models
