3FS

为 AI 训练打造的高吞吐分布式文件系统

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 1160 🐛 待处理 182 👀 关注 91
GitHub ↗
GitHub 星标 ★ 10477
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费

项目预览

3FS 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队deepseek-ai
定价模式🏷️完全免费
价格说明开源免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言C++
技术栈/模型distributed-file-system
GitHub 星标★ 10477
上线时间2025-02-27 00:00:00
代码更新2026-11-17
仓库体积6.0 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-11-18
浏览次数0

项目介绍

3FS 是面向 AI 训练与推理场景的高性能分布式文件系统,用 C++ 实现。它要解决的是大规模 GPU 集群在读取训练样本、加载模型权重、写入检查点和中间结果时,传统通用文件系统吞吐不足、元数据操作成为瓶颈的问题。核心能力包括:针对大块顺序读写优化的数据通路,支持高并发随机读以适配样本打散训练;面向海量小文件与目录的高效元数据服务;通过分离式架构把存储节点与计算节点解耦,便于横向扩容;提供多副本或纠删码等数据可靠性机制,并针对 AI 流水线做缓存与预取。项目以开源方式发布,适合需要自建高性能存储底座、又不想绑定商业并行文件系统的团队,可作为训练数据湖、特征存储和检查点存储的统一层。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-18 · 当前星标 ★ 10477

使用教程

难度:进阶 约 60 分钟 部署方式:Docker 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Linux 环境,README 给出的构建镜像是 TencentOS-4 与 OpenCloudOS-9
  • 已安装 Docker,可拉取并运行构建镜像
  • 元数据服务依赖事务型键值存储(README 举例 FoundationDB)
  • 要发挥性能需现代 SSD 与 RDMA 网络(README 描述的前提)

安装与启动步骤

  1. 1获取项目源码

    克隆 3FS 仓库到本地,后续构建与部署均在该目录内进行。

    git clone https://github.com/deepseek-ai/3FS.git
  2. 2安装编译依赖

    README 的 Install dependencies 章节列出依赖安装方式,节选内容不完整,请以仓库原文为准逐条执行。

  3. 3拉取构建镜像

    README 提供两个官方构建镜像,按所用发行版二选一拉取,无需重复拉取另一个。

    docker pull docker.io/tencentos/tencentos4-deepseek3fs-build:latest
  4. 4使用镜像构建

    在拉取的构建镜像内编译 3FS;具体挂载源码目录与编译参数请参考仓库中构建相关说明。

  5. 5启动测试集群

    按仓库 deploy/README.md 的 setup guide 部署并运行测试集群,注意各服务启动顺序。

如何确认成功

按 deploy/README.md 启动测试集群后,检查存储、元数据等服务进程与日志是否正常输出、无报错。

常见问题

Q:该用哪个构建镜像?

A:README 给出 TencentOS-4 与 OpenCloudOS-9 两个镜像,按你的构建环境或目标系统选择其一即可,不需要两个都用。

Q:为什么依赖安装步骤没有具体命令?

A:README 节选中该代码块为空、内容不完整,请直接查看仓库原文 Install dependencies 章节,避免照搬猜测的命令。

Q:有预编译版本可以直接用吗?

A:README 只说明用 Docker 镜像构建源码,未提供预编译二进制下载,需自行构建后再部署。

Q:测试集群怎么跑起来?

A:README 指向仓库内 deploy/README.md 的 setup guide,按其中的部署步骤操作即可。

注意事项

  • README 节选中的依赖安装命令缺失,实际执行请以仓库原始文档为准。
  • 3FS 为分布式文件系统,单机无法体现其性能,建议先按官方测试集群说明小规模验证。
  • 元数据服务依赖事务型键值存储,部署前需准备好对应组件。

核心亮点

  • 针对 AI 负载优化,大块顺序读写与高并发随机读吞吐表现突出
  • 元数据服务独立扩展,缓解海量小文件场景下的目录操作瓶颈
  • 存储与计算解耦的分离式架构,支持按需横向扩容

不足之处

  • 部署与运维门槛较高,需要专业存储团队维护
  • 生态与文档相对年轻,社区案例和第三方集成仍在积累

适用场景

  • 大规模 GPU 集群训练时的样本数据高速读取
  • 模型检查点与中间结果的高吞吐写入
  • 多租户 AI 平台的统一训练数据存储底座

替代项目

Lustre、Ceph、JuiceFS

上一篇:Remory

下一篇:smolmaxxing

同类项目推荐

all-api-hub 开源

一站式管理所有 AI 中转账号,余额、签到、密钥全搞定

All-in-one New-API/Sub2API account hub: balance/usage dashboard, auto check-in, one-···

★ 5072 2026-08-09
agent-skills 开源

让 AI 写代码时顺手把 OpenTelemetry 埋点做对

OpenTelemetry skills and reference documentation for AI coding assistants - instrume···

★ 102 2026-11-13
coralnpu 开源

把 AI 推理塞进低功耗边缘芯片,本地实时跑模型

A machine learning accelerator core designed for energy-efficient AI at the edge.

★ 2704 2026-10-08
graphjin 开源

给AI代理一个统一数据入口,安全读写数据库和API

DeepORG (formerly GraphJin) — one governed AI agent for your whole organization: da···

★ 3236 2026-08-09
deployKF 开源

在 Kubernetes 上一条命令搭建完整机器学习平台

deployKF builds machine learning platforms on Kubernetes. We combine the best of Kub···

★ 463 2026-08-09
WindsurfAPI 开源

把 Windsurf 订阅的 100+ 模型变成通用 API,无缝接入任何 AI 工具

Turn Windsurf / Devin Desktop's 100+ AI models (Claude, GPT, Gemini, DeepSeek, Kimi,···

★ 3144 2026-08-09
candle-vllm 开源

Rust 写的本地大模型推理服务,兼容 OpenAI API,开箱即用

Efficent platform for inference and serving local LLMs including an OpenAI compatibl···

★ 743 2026-10-14
mere-run 开源

在 Mac 上一条命令跑通图像、语音、视频等本地 AI 工作流

Run local image, text, speech, vision, music, and video workflows, plus model manage···

★ 96 2026-08-09
examples 开源

无服务器 GPU 部署示例集,快速上手 Cerebrium

Examples for Cerebrium Serverless GPUs

★ 526 2026-08-09