dud

像管代码一样管数据,轻量级数据版本控制与管道工具

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 11 🐛 待处理 21 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 220
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,BSD-3-Clause许可证,完全免费,可自行部署使用。

项目预览

dud 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队kevin-hanselman
定价模式🏷️完全免费
价格说明开源项目,BSD-3-Clause许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Go
技术栈/模型data-engineering,data-pipelines,data-science,dataset,dvcs,machine-learning,mlops
GitHub 星标★ 220
上线时间2020-02-26 00:00:00
代码更新2025-07-27
仓库体积3.5 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

dud 是一个用 Go 编写的轻量级命令行工具,旨在将数据版本管理与源代码版本控制(如 Git)相结合,并支持构建数据管道。它解决了数据科学家和工程师在项目中追踪数据集、模型文件等大文件版本时遇到的困难,使得数据变更可以像代码变更一样被记录、审查和回滚。dud 的核心能力包括:通过 YAML 配置文件声明数据依赖和输出,自动计算文件校验和以追踪数据变更,支持与 Git 工作流无缝集成(如提交时自动记录数据状态),以及提供简单的命令(如 dud stage、dud commit)来管理数据管道中的各个阶段。它类似于 DVC,但更轻量,专注于核心功能,适合需要简洁数据版本控制方案的个人或小团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 220

核心亮点

  • 轻量级,单一二进制文件,无复杂依赖,易于安装和集成
  • 与 Git 原生集成,数据变更可追踪、可回滚,提升协作效率
  • 基于 YAML 声明式配置,直观定义数据管道阶段和依赖

不足之处

  • 早期项目,功能相对基础,缺少高级特性如云存储集成
  • 文档和社区生态尚不完善,学习资源有限

适用场景

  • 机器学习项目中管理训练数据集和模型文件的版本
  • 数据工程中构建可复现的数据处理管道
  • 需要轻量级数据版本控制而不想引入重量级框架的团队

替代项目

DVC、Pachyderm、Git LFS

上一篇:qgate-sln-mlrun

下一篇:CodeProject.AI-Server

同类项目推荐

llmaker 开源

终端一键拉起整套自托管 LLM 服务栈

Selfhost modern LLM stacks. Run the whole fleet from your terminal

★ 105 2026-08-09
OpenLLM 开源

开源大模型一键变成标准接口,部署上线像点外卖

Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpo···

★ 12587 2026-08-09
motorhead 开源

给 LLM 装上持久记忆,几行代码接入对话历史与语义检索。

Motorhead is a memory and information retrieval server for LLMs.

★ 916 2026-08-09
MNNServer 开源

在手机上跑本地AI服务,离线也能语音对话和识别

A third-party MNN server supporting external calls, embedding model, TTS model and A···

★ 163 2026-08-09
kraken 开源

自托管 CI 系统,灵活流水线,轻松掌控测试全流程。

Kraken CI is a continuous integration and testing system.

★ 160 2026-08-09
comfyui-docker 开源

用 Docker 一键跑起 ComfyUI,告别环境配置地狱

Docker image for ComfyUI: The most powerful and modular stable diffusion GUI, api an···

★ 61 2026-08-09
memgraph 开源

用内存图数据库给 AI 装上实时记忆,加速智能体响应。

High-performance open-source in-memory graph database for GraphRAG, AI memory, agent···

★ 4653 2026-08-09
gemma.cpp 开源

纯 C++ 本地跑 Gemma,无需 Python 依赖

lightweight, standalone C++ inference engine for Google's Gemma models.

★ 7080 2026-11-08
llm-gateway 开源

一套接口接所有大模型,Agent 换供应商不用改代码

Open Source LLM Gateway

★ 7626 2026-09-16