xvc

用 Rust 快速管理 ML 数据和流水线,像 Git 一样追踪大文件

xvc 是一个用 Rust 编写的 MLOps 工具,专注于数据版本管理和流水线管理。它解决了机器学习项目中数据文件、模型和实验管线的版本控制与可复现性问题,提供类似 Git 的数据追踪和流水线执行能力,但针对大文件和二进制数据做了优化。核心能力包括:数据文件去重存储、版本追踪、流水线步骤定义与缓存、并行执行等。由于采用 Rust 实现,xvc 在性能和内存安全上具有优势,适合对速度敏感的数据处理场景。目前项目处于早期阶段,功能仍在迭代中。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 77
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队iesahin
所属国家
官网地址
定价模式free
价格说明开源项目,GPL-3.0许可,可自行部署使用,完全免费。
访问状态
是否开源是
开源协议GPL-3.0
主要语言Rust
技术栈/模型command-line-tool,data,data-engineering,data-pipelines,data-science,devops,machine-learning,machine-learning-engineering,mlops,rust
GitHub 星标★ 77
30天Star增速
HF 下载量
上线时间2022-10-15 00:00:00
最近更新2026-09-14 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

核心亮点

  • Rust 实现,性能高,内存安全
  • 专为 ML 数据设计,支持大文件去重和版本管理
  • 流水线缓存机制,避免重复计算

不足之处

  • 项目早期,文档和社区生态待观察
  • 功能相比 DVC 等成熟工具可能不完整

适用场景

  • 机器学习项目的数据版本控制
  • 需要高效处理大规模数据文件的场景
  • 构建可复现的 ML 流水线

替代项目

DVC、Pachyderm、LakeFS

项目介绍

xvc 是基础设施领域的开源项目,由 iesahin 开发,2022 年首次发布。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 77。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-14。GPL-3.0许可,可自行部署使用,完全免费。

它主要面向的使用场景是:机器学习项目的数据版本控制。同类可对比的替代方案包括 DVC、Pachyderm、LakeFS。

上一篇:ck

下一篇:gpu-telemetry

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···

★ 303 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09