fondant

像搭积木一样构建生产级数据处理流水线,让数据准备高效可复用。

Fondant 是一个面向生产环境的数据处理框架,旨在简化并共享大规模数据流水线的构建。它解决了机器学习项目中数据准备阶段繁琐、重复且难以协作的问题,提供了一套声明式、可复用的组件化流水线。核心能力包括:支持从本地或云端读取多种数据格式(如图像、文本、表格),内置丰富的预处理、清洗、转换和增强组件,并允许用户自定义组件;基于数据目录和缓存机制实现高效的数据复用与增量处理;可扩展至分布式计算环境(如 Ray、Dask),以处理海量数据。通过将数据处理流程标准化和模块化,Fondant 帮助团队提升开发效率,确保数据质量,并促进数据工程与机器学习工作流的无缝集成。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 359
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队ml6team
所属国家
定价模式free
价格说明开源项目,Apache-2.0许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型data-processing,fine-tuning,foundation-models,machine-learning,pipeline,python
GitHub 星标★ 359
30天Star增速
HF 下载量
上线时间2023-03-02 00:00:00
最近更新2026-08-09 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

核心亮点

  • 提供声明式组件化流水线,降低数据工程门槛,易于理解和维护。
  • 内置多种常用数据预处理组件,并支持自定义,覆盖多种数据模态。
  • 支持 Ray 等分布式后端,可弹性扩展以处理大规模数据集。

不足之处

  • 项目处于早期阶段,社区生态和文档丰富度有待提升。
  • 与成熟的同类框架相比,集成度和稳定性可能尚需验证。

适用场景

  • 构建大规模图像或文本数据集的清洗与预处理流水线。
  • 需要可复用、可共享的数据处理流程的机器学习团队协作场景。
  • 从非结构化数据中提取特征并生成训练数据集的自动化流程。

替代项目

Apache Beam、Luigi、Kubeflow Pipelines

项目介绍

fondant 是数据集领域的开源项目,由 ml6team 开发,2023 年首次发布。

它收录于数据集分类,该分类目前共有 279 个项目,GitHub 星标数为 359。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-09。Apache-2.0许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:构建大规模图像或文本数据集的清洗与预处理流水线。同类可对比的替代方案包括 Apache Beam、Luigi、Kubeflow Pipelines。

上一篇:Project-Imaging-X

下一篇:RS5M

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10528 2026-08-10
aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1645 2026-09-20
distilabel 开源

基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3398 2026-08-10
DataGen 开源

用大模型一键生成定制化训练数据,告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09