项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 359
核心亮点
- 提供声明式组件化流水线，降低数据工程门槛，易于理解和维护。
- 内置多种常用数据预处理组件，并支持自定义，覆盖多种数据模态。
- 支持 Ray 等分布式后端，可弹性扩展以处理大规模数据集。
不足之处
- 项目处于早期阶段，社区生态和文档丰富度有待提升。
- 与成熟的同类框架相比，集成度和稳定性可能尚需验证。
适用场景
- 构建大规模图像或文本数据集的清洗与预处理流水线。
- 需要可复用、可共享的数据处理流程的机器学习团队协作场景。
- 从非结构化数据中提取特征并生成训练数据集的自动化流程。
替代项目
Apache Beam、Luigi、Kubeflow Pipelines
下一篇：RS5M
同类项目推荐
open-data-registry
开源
一键发现并定位 AWS 上的公开数据集
A registry of publicly available datasets on AWS
Curator
开源
让 LLM 训练数据又快又干净，一键搞定预处理
Scalable data pre processing and curation toolkit for LLMs
awesome-matchem-datasets
开源
材料化学数据集一网打尽，找数据不再东翻西找
BTC-Trading-Since-2020
开源
下载2020年至今的比特币真实交易数据，直接用于策略研究和AI训练
Public BTC trading context since 2020.
Chatbot-Training-Corpus
开源
拿来即用的中英文聊天语料，快速启动你的对话模型训练
总结了一些可以用作聊天机器人训练实作的文字语聊，包含中英文不同语言
bigset-oss
开源
自托管实时数据集，网页 agent 自动抓取持续更新
Open-source BigSet — self-hostable live datasets populated by TinyFish web agents
pandas-datareader
开源
一行代码抓取全球金融数据，直接生成 DataFrame
Extract data from a wide range of Internet sources into a pandas DataFrame.
Awesome-Cold-Start-Recommendatio···
开源
一站式速查冷启动推荐资源，快速跟上研究前沿
[Up-to-date] A curated list of resources on cold-start recommendations.
sd-tagtool
开源
拖拽整理SD训练标签，数据干净训练快
A stable diffusion training dataset tag editor.