AutoMathText

自动筛选高质量数学语料，提升大模型数学能力

AutoMathText 是一个面向数学文本的自主数据选择工具，基于 ACL 2025 论文实现。它利用零样本生成式分类器，自动从海量文本中筛选出高质量数学语料，解决大模型训练中数学数据稀缺和筛选成本高的问题。核心能力包括：无需人工标注即可对文本进行数学相关性分类、支持自定义分类标签（如数学、推理、科学等）、提供数据清洗和过滤流程。项目采用 Python 实现，易于集成到现有数据处理管道中。通过自动化筛选，能显著提升数学语料的质量和纯度，进而优化数学大模型的训练效果。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 92
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队yifanzhang-pro
所属国家
官网地址https://auto-data-selection.github.io
GitHubhttps://github.com/yifanzhang-pro/AutoMathText
定价模式free
价格说明开源项目，基于CC-BY-4.0许可证，可自由使用和部署，无付费版本。
访问状态
是否开源是
开源协议CC-BY-4.0
主要语言Python
技术栈/模型finetuning,large-language-models,llm,math-ai,mathematics,pretraining,reasoning
GitHub 星标★ 92
30天Star增速
HF 下载量
上线时间2024-01-27 00:00:00
最近更新2026-07-25 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 零样本分类，无需人工标注，降低数据筛选成本
  • 基于 ACL 2025 论文，方法有学术支撑，可靠性高
  • 支持自定义分类标签，灵活适配不同数学子领域

不足之处

  • 文档/社区待观察
  • 目前仅支持数学文本，泛化到其他领域需自行扩展

适用场景

  • 数学大模型预训练语料清洗
  • 数学推理数据集构建
  • 教育领域数学内容过滤

替代项目

textbook-quality-data-filter、math-data-filter、LLM-data-selection

项目介绍

AutoMathText 是数据集领域的开源项目，由 yifanzhang-pro 开发，2024 年首次发布。

它收录于数据集分类，该分类目前共有 279 个项目，GitHub 星标数为 92。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-25。基于CC-BY-4.0许可证，可自由使用和部署，无付费版本。

它主要面向的使用场景是：数学大模型预训练语料清洗。同类可对比的替代方案包括 textbook-quality-data-filter、math-data-filter、LLM-data-selection。

上一篇：LabelFast

下一篇：Awesome-Token-Merge-for-MLLMs

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注，图像视频文本通吃，导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10528 2026-08-10
aisheets 开源

像用表格一样批量调 AI，不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1645 2026-09-20
distilabel 开源

基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3398 2026-08-10
DataGen 开源

用大模型一键生成定制化训练数据，告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09