openlake

加速 LLM 训练与推理，让 GPU 不再等数据

OpenLake 是一个用 Rust 编写的高性能存储引擎，专为大型语言模型（LLM）推理和 GPU 训练而设计。它解决的是传统数据存储系统在 AI 工作负载下性能瓶颈问题，通过优化数据布局、IO 路径和缓存策略，实现高效的数据读写。核心能力包括：支持大规模模型权重和训练数据的快速加载、减少 GPU 空闲等待时间、提供与主流深度学习框架的无缝集成。其设计注重高吞吐和低延迟，能够显著提升训练和推理的效率，适用于需要频繁访问海量数据的 AI 场景。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2662

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队openlake-project

所属国家

官网地址https://theopenlake.com

GitHubhttps://github.com/openlake-project/openlake

定价模式free

价格说明开源项目，Apache-2.0许可证，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Rust

技术栈/模型blackwell,gpt,gpu,high-performance,llm,llm-training,model-serving,rdma,rust,storage,throughput

GitHub 星标★ 2662

30天Star增速

HF 下载量

上线时间2026-04-27 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：进阶约 30 分钟部署方式：本地安装 7 步

环境要求

Linux 系统（需安装 ca-certificates、build-essential、pkg-config、clang、cmake、libhwloc-dev
macOS 需安装 Xcode 命令行工具与 cmake、pkg-config
Windows 需先安装 WSL2 与 Ubuntu
Rust 工具链（rustup）
GPU 节点上需可用 vLLM 环境

安装与启动步骤

1安装系统依赖

Linux/WSL 下更新源并安装编译 openlake 所需的构建工具与库；macOS 用户改用 xcode-select 与 brew 安装。

sudo apt-get update
sudo apt-get install -y --no-install-recommends ca-certificates build-essential pkg-config clang cmake libhwloc-dev libudev-dev curl git

2安装 Rust 工具链

通过 rustup 安装 Rust 并加载 cargo 环境变量，之后才能编译或运行 Rust 版本的 openlake 组件。
```
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y && . "$HOME/.cargo/env"
```
3安装 macOS 依赖

macOS 用户执行此行命令安装 Xcode 命令行工具及 cmake、pkg-config，Linux 用户可跳过此步。
```
xcode-select --install
brew install cmake pkg-config
```
4Windows 安装 WSL

Windows 用户需在管理员 PowerShell 中安装 WSL 与 Ubuntu 发行版，随后在 Ubuntu shell 内执行前述依赖与 Rust 安装命令。
```
wsl --install -d Ubuntu
wsl
```
5安装 vLLM 连接器

在 GPU 节点上安装 openlake-vllm 连接器，它提供与 vLLM 集成的 OpenLakeConnector 模块。
```
pip install openlake-vllm
```
6启动 OpenLake 存储

运行 openlaked 启动本地存储服务；跨 GPU 集群场景需按节点用 --config 指定 kv_rdma 配置文件。
```
openlaked
```

7用 vLLM 验证集成

设置 PYTHONHASHSEED 后启动 vLLM 服务，通过 kv-transfer-config 指定 OpenLake 连接器与节点地址。

export PYTHONHASHSEED=0
vllm serve  --kv-transfer-config '{"kv_connector":"OpenLakeConnector","kv_connector_module_path":"openlake_client.openlake_connector","kv_role":"kv_both","kv_connector_extra_config":{"openlake_nodes":["127.0.0.1:9400"],"openlake_device":"local"}}'

关键配置

配置项	必填	说明	示例
`kv_connector`	是	指定 vLLM 使用的 KV 连接器实现类	`OpenLakeConnector`
`kv_connector_module_path`	是	连接器所在 Python 模块路径	`openlake_client.openlake_connector`
`kv_role`	是	KV 缓存角色，kv_both 表示收发兼顾	`kv_both`
`openlake_nodes`	是	OpenLake 节点地址列表，格式为 IP:端口	`["127.0.0.1:9400"]`
`openlake_device`	是	本地存储或 RDMA 网卡设备名	`local`
`--config`	否	openlaked 启动参数，指定 kv_rdma 配置文件以启用跨主机	`kv_rdma_0.toml`

如何确认成功

openlaked 正常常驻无报错，vllm serve 启动后模型可正常推理，即说明 KV 池集成成功。

常见问题

Q：默认只在本机卸载 KV 缓存怎么办？

A：README 说明默认 offload 到同一主机；要跨 GPU 集群使用，需用 --config 启动 openlaked 并配置 kv_rdma.toml 各节点 self_id。

Q：多主机 GPU 集群如何配置？

A：每个 GPU 主机用对应 kv_rdma_N.toml 启动 openlaked（ids 从 0 递增），vLLM 侧把 openlake_nodes 配成各节点 IP:9400，openlake_device 填 RDMA 网卡如 mlx5_ib0。

Q：Kubernetes 环境怎么部署？

A：README 指向 charts/openlake/README.md 的 Helm KV 部署指南，可在选定节点各部署一个 OpenLake 实例并生成有序的 vLLM peer 配置。

Q：Windows 上能直接装吗？

A：README 给的是 WSL 方案：管理员 PowerShell 执行 wsl --install -d Ubuntu，再在 Ubuntu 内安装依赖和 Rust。

注意事项

README 中 vllm serve 的是占位符，需替换为实际模型名
openlake_nodes 在跨主机场景要按 self_id 顺序填写各节点地址
启用 OpenLake 前需设置 PYTHONHASHSEED=0
OpenLake 基于 Rust 与 io_uring 构建，建议在支持 io_uring 的 Linux 内核上运行

核心亮点

专为 AI 工作负载优化，数据加载速度远超通用存储
Rust 实现，内存安全且性能卓越
与主流深度学习框架集成，降低迁移成本

不足之处

项目较新，生态和文档尚不完善
仅支持 Rust 语言，限制了部分用户

适用场景

大规模 LLM 训练时的数据预处理与加载
高并发 LLM 推理服务中的模型权重读取
GPU 集群环境下的分布式训练数据共享

替代项目

TensorFlow IODATA、PyTorch DataLoader、Hugging Face Datasets

项目介绍

openlake 是基础设施领域的开源项目，由 openlake-project 开发，是 2026 年新上线的项目。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,662）位列前 30%，在基础设施分类中处于中上游。

近 42 天，它的 GitHub 星标从 2,330 增加到 2,662，净增 332。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0许可证，可免费使用和部署。

它主要面向的使用场景是：大规模LLM训练时的数据预处理与加载。同类可对比的替代方案包括 TensorFlow IODATA、PyTorch DataLoader、Hugging Face Datasets。

上一篇：mixtral-offloading

下一篇：datapizza-ai