项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 420
使用教程
环境要求
- 较大磁盘空间（百 GB 级）
- Python 3.10+
安装与启动步骤
-
1先看许可与来源
它是数学领域的预训练语料，来源与授权写在仓库里。
-
2看数据构成
教科书、论文、网页混在一起，比例影响模型风格。
-
3下载或按脚本重建
体量大，先确认磁盘与带宽。
-
4用它的清洗脚本处理自己的数据
这部分比语料本身更有复用价值。
如何确认成功
能按仓库脚本重建出一份统计特征与原版接近的子集，且清洗规则对公式与代码块处理正确
注意事项
- 它是数据集仓库，交付的是语料与处理脚本，不是模型。
- 数学语料里公式与符号的清洗规则最容易被忽略，弄错会污染训练。
- 引用要求写在仓库里，用于论文时必须按格式标注。
- 语料含网页抓取内容，商用前逐项确认来源许可。
- 体量大，本地只建议抽样研究。
核心亮点
- 提供约95亿token的数学专用语料，规模大且覆盖多源（论文、教材、代码等）
- 数据处理流程完全开源，清洗、去重、过滤步骤可复现，便于定制
- 按来源和难度分级，方便研究者按需筛选数据子集
不足之处
- 语料以英文为主，中文数学内容覆盖有限
- 文档/社区待观察
适用场景
- 预训练数学推理大模型，如训练GPT-like模型时注入数学知识
- 微调通用LLM以提升其在数学应用题、符号计算上的表现
- 构建数学领域RAG系统或评估数据质量工具
替代项目
OpenWebMath、Proof-Pile-2、MathPile（自身）
下一篇：DataGen
同类项目推荐
compliance-checker
开源
一键扫描数据集，快速发现合规风险
Python tool to check your datasets against compliance standards
color-names
开源
海量颜色名称一键查，设计开发配色不再难
Large list of handpicked color names
LLM-Synthetic-Data
开源
一页看全 LLM 合成数据论文脉络
A live reading list for LLM data synthesis (Updated to July, 2025).
AGIQA-3k-Database
开源
给AI生成图像质量打分，建立评估基准
[IEEE TCSVT2023] A Fine-grained Subjective Perception & Alignment Database for AI Ge···
awesome-open-data-annotation
开源
一站式找到最合适的开源数据标注工具
Open Source Data Annotation & Labeling Tools
Kokoro-Speech-Dataset
开源
免费日语单说话人语音数据，拿来就能训TTS
A public domain single speaker Japanese speech dataset
Koala-36M
开源
用3600万配对视频，让AI生成更听话的视频
Official implementation of the paper "Koala-36M: A Large-scale Video Dataset Improvi···
diffusiondb
开源
百万真实提示词数据，让 AI 生成更可控
A large-scale text-to-image prompt gallery dataset based on Stable Diffusion
caselaw-repo-1
开源
一键接入瑞士百年判例，让 AI 秒查法律引用关系
Open Swiss legal corpus + MCP server: 1M+ court decisions (1875–today), 21k laws, 1···