giga-datasets

统一轻量框架，一站式完成大模型数据清洗筛选与可视化

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署数据集 🍴 复刻 78 👀 关注 54

GitHub ↗

GitHub 星标 ★ 644

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源免费，需自行部署

项目预览

giga-datasets 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类数据集

开发团队open-gigaai

GitHubhttps://github.com/open-gigaai/giga-datasets

定价模式🏷️完全免费

价格说明开源免费，需自行部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

GitHub 星标★ 644

上线时间2025-09-26 00:00:00

代码更新2026-08-25

仓库体积5.9 MB

本站数据更新2026-11-05

维护状态维护中

收录时间2026-09-21

浏览次数2

项目介绍

GigaDatasets 是一个统一且轻量的数据处理、筛选与可视化框架，面向大模型训练数据的全流程管理。它解决的核心问题是：数据工程师和算法研究员在处理海量原始语料时，往往需要拼凑多个脚本和工具来完成清洗、去重、质量过滤、格式转换和可视化分析，流程割裂且难以复用。GigaDatasets 把这些环节整合到一个框架里，提供统一的算子接口和流水线抽象，让用户可以用声明式的方式组合处理步骤，快速构建可复现的数据处理管道。框架强调轻量，不依赖重型计算集群即可运行，同时支持对数据集进行统计分析和可视化，帮助理解数据分布与质量问题。它适合需要频繁迭代数据配方的团队，把零散脚本沉淀为可维护的数据资产。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 644

使用教程

难度：进阶约 50 分钟部署方式：本地安装 5 步

环境要求

Python 3.11
约 10G 空间
图像/视频数据

安装与启动步骤

1先认清它不是数据集

名字带 datasets，实际是数据处理框架，装它是为了加工自己的数据。
```
pip3 install giga-datasets
```
2跑自带样例

仓库里有一份小样例数据和入门脚本，先跑通加载这一步。
3打包自己的视频

把散落的原始文件打成统一结构，这是它最常用的功能。
```
python getting_started/pack_videos.py --video_dir /path/to/your/raw_videos --save_dir ./giga_videos
```
4加自定义字段

要在数据里带自己的元信息，用它的脚本往结构里加列。
```
python getting_started/add_new_filed.py --data_dir getting_started/giga_data
```
5跑评测

它同时提供加载与评测，先看内置指标再谈接自己的。