giga-datasets 是数据集领域的开源项目，由 open-gigaai 开发，2025 年首次发布。
它收录于数据集分类，该分类目前共有 278 个项目，GitHub 星标数为 644。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-17。开源免费，需自行部署。
它主要面向的使用场景是：为预训练语料构建可复现的清洗与质量过滤流水线。同类可对比的替代方案包括 datasets、Data-Juicer。
giga-datasets
统一轻量框架，一站式完成大模型数据清洗筛选与可视化
GigaDatasets 是一个统一且轻量的数据处理、筛选与可视化框架，面向大模型训练数据的全流程管理。它解决的核心问题是：数据工程师和算法研究员在处理海量原始语料时，往往需要拼凑多个脚本和工具来完成清洗、去重、质量过滤、格式转换和可视化分析，流程割裂且难以复用。GigaDatasets 把这些环节整合到一个框架里，提供统一的算子接口和流水线抽象，让用户可以用声明式的方式组合处理步骤，快速构建可复现的数据处理管道。框架强调轻量，不依赖重型计算集群即可运行，同时支持对数据集进行统计分析和可视化，帮助理解数据分布与质量问题。它适合需要频繁迭代数据配方的团队，把零散脚本沉淀为可维护的数据资产。
开源
free
数据集
GitHub 星标
★ 644
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类数据集
开发团队open-gigaai
所属国家
定价模式free
价格说明开源免费，需自行部署
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型
GitHub 星标★ 644
30天Star增速
HF 下载量
上线时间2025-09-26 00:00:00
最近更新2026-09-17 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-21
浏览次数0
使用教程
核心亮点
- 把清洗、去重、过滤、可视化等环节统一到一套算子接口，减少脚本拼凑
- 轻量设计，依赖少，中小规模数据可在单机快速跑通全流程
- 支持声明式组合处理步骤，便于复用和复现数据配方
不足之处
- 项目处于早期阶段，算子覆盖面和生态集成可能还不够丰富
- 大规模分布式处理能力与成熟数据框架相比有待验证
适用场景
- 为预训练语料构建可复现的清洗与质量过滤流水线
- 快速统计和可视化数据集分布，定位脏数据与偏差
- 团队沉淀统一的数据处理算子库，替代零散脚本
替代项目
datasets、Data-Juicer
项目介绍
上一篇：datasets
同类项目推荐
X-AnyLabeling
开源
一站式AI辅助标注，图像视频文本通吃，导出格式随心配
X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···
aisheets
开源
像用表格一样批量调 AI，不写代码就能造和改数据集
Build, enrich, and transform datasets using AI models with no code
distilabel
开源
基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。
Distilabel is a framework for synthetic data and AI feedback for engineers who need ···
DataGen
开源
用大模型一键生成定制化训练数据，告别数据荒
[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models