xvc

用 Rust 快速管理 ML 数据和流水线,像 Git 一样追踪大文件

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 5 🐛 待处理 2 👀 关注 4
GitHub ↗
GitHub 星标 ★ 78
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,GPL-3.0许可,可自行部署使用,完全免费。

项目预览

xvc 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队iesahin
定价模式🏷️完全免费
价格说明开源项目,GPL-3.0许可,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议GPL-3.0
主要语言Rust
技术栈/模型command-line-tool,data,data-engineering,data-pipelines,data-science,devops,machine-learning,machine-learning-engineering,mlops,rust
GitHub 星标★ 78
上线时间2022-10-15 00:00:00
代码更新2026-11-11
仓库体积7.6 MB
本站数据更新2026-11-11
维护状态活跃
收录时间2026-08-09
浏览次数8

项目介绍

xvc 是一个用 Rust 编写的 MLOps 工具,专注于数据版本管理和流水线管理。它解决了机器学习项目中数据文件、模型和实验管线的版本控制与可复现性问题,提供类似 Git 的数据追踪和流水线执行能力,但针对大文件和二进制数据做了优化。核心能力包括:数据文件去重存储、版本追踪、流水线步骤定义与缓存、并行执行等。由于采用 Rust 实现,xvc 在性能和内存安全上具有优势,适合对速度敏感的数据处理场景。目前项目处于早期阶段,功能仍在迭代中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 78

核心亮点

  • Rust 实现,性能高,内存安全
  • 专为 ML 数据设计,支持大文件去重和版本管理
  • 流水线缓存机制,避免重复计算

不足之处

  • 项目早期,文档和社区生态待观察
  • 功能相比 DVC 等成熟工具可能不完整

适用场景

  • 机器学习项目的数据版本控制
  • 需要高效处理大规模数据文件的场景
  • 构建可复现的 ML 流水线

替代项目

DVC、Pachyderm、LakeFS

上一篇:ck

下一篇:gpu-telemetry

同类项目推荐

vllm-rlt 开源

给循环 Transformer 做循环级调度的推理引擎

A vLLM-inspired inference engine for looped transformers, with loop-level scheduling···

★ 221 2026-10-28
grafana 开源

一个面板看遍所有监控数据,快速定位故障

The open and composable observability and data visualization platform. Visualize met···

★ 77824 2026-08-29
codex-runway 开源

菜单栏一眼看穿 Codex/Grok 额度,防超限断工

Native menu bar & tray app for macOS, Windows and Linux: track Codex, Claude Code an···

★ 326 2026-08-09
VectorRAG.Net 开源

在 .NET 中快速实现语义搜索和 RAG,无需外部向量数据库。

VectorRAG.Net is a .NET-native high-performance vector database library for semantic···

★ 162 2026-08-09
dbxlite 开源

浏览器里直接查本地和云数据,AI 帮你写 SQL

Open-source SQL workbench powered by DuckDB. Query local files, BigQuery, and Snowfl···

★ 99 2026-08-09
mempalace 开源

给 AI 装上永久记忆,告别每次对话都失忆

The best-benchmarked open-source AI memory system. And it's free.

★ 60510 2026-08-09
agent-sandbox 开源

在 K8s 上给每个 AI Agent 开一间独立有状态的沙箱

agent-sandbox enables easy management of isolated, stateful, singleton workloads, id···

★ 4575 2026-10-12
gpt-tokenizer 开源

纯 JS 实现 GPT 分词,前端也能算 token

The fastest JavaScript BPE Tokenizer Encoder Decoder for OpenAI's GPT models (gpt-5,···

★ 859 2026-10-31
x-stable-diffusion 开源

把 Stable Diffusion 推理压到 0.88 秒,实时出图不是梦。

Real-time inference for Stable Diffusion - 0.88s latency. Covers AITemplate, nvFuser···

★ 556 2026-08-09