AutoMathText

自动筛选高质量数学语料,提升大模型数学能力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 6 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 94
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,基于CC-BY-4.0许可证,可自由使用和部署,无付费版本。

项目预览

AutoMathText 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队yifanzhang-pro
定价模式🏷️完全免费
价格说明开源项目,基于CC-BY-4.0许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议CC-BY-4.0
主要语言Python
技术栈/模型finetuning,large-language-models,llm,math-ai,mathematics,pretraining,reasoning
GitHub 星标★ 94
上线时间2024-01-27 00:00:00
代码更新2025-11-23
仓库体积1.9 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

AutoMathText 是一个面向数学文本的自主数据选择工具,基于 ACL 2025 论文实现。它利用零样本生成式分类器,自动从海量文本中筛选出高质量数学语料,解决大模型训练中数学数据稀缺和筛选成本高的问题。核心能力包括:无需人工标注即可对文本进行数学相关性分类、支持自定义分类标签(如数学、推理、科学等)、提供数据清洗和过滤流程。项目采用 Python 实现,易于集成到现有数据处理管道中。通过自动化筛选,能显著提升数学语料的质量和纯度,进而优化数学大模型的训练效果。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 94

核心亮点

  • 零样本分类,无需人工标注,降低数据筛选成本
  • 基于 ACL 2025 论文,方法有学术支撑,可靠性高
  • 支持自定义分类标签,灵活适配不同数学子领域

不足之处

  • 文档/社区待观察
  • 目前仅支持数学文本,泛化到其他领域需自行扩展

适用场景

  • 数学大模型预训练语料清洗
  • 数学推理数据集构建
  • 教育领域数学内容过滤

替代项目

textbook-quality-data-filter、math-data-filter、LLM-data-selection

上一篇:LabelFast

下一篇:Awesome-Token-Merge-for-MLLMs

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10910 2026-08-10
RS5M 开源

下载500万遥感图文对,训练你的遥感视觉语言模型

RS5M: a large-scale vision language dataset for remote sensing [TGRS]

★ 322 2026-08-09
open-data-registry 开源

一键发现并定位 AWS 上的公开数据集

A registry of publicly available datasets on AWS

★ 1828 2026-09-21
DataFlow 开源

用 LLM 算子搭流水线,把脏数据一键变成训练集

[SIGMOD'27] Easy Data Preparation with latest LLMs-based Operators and Pipelines.

★ 8492 2026-09-16
sd-tagtool 开源

拖拽整理SD训练标签,数据干净训练快

A stable diffusion training dataset tag editor.

★ 71 2026-08-09
BTC-Trading-Since-2020 开源

下载2020年至今的比特币真实交易数据,直接用于策略研究和AI训练

Public BTC trading context since 2020.

★ 1225 2026-08-10