bacalhau

把计算搬到数据身边,省时省钱跑批处理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 设计创意 🍴 复刻 105 🐛 待处理 5 👀 关注 23
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 876
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源框架,Apache-2.0许可证,可免费使用和自行部署。

项目预览

bacalhau 项目界面预览图
图片来源:项目官网

项目数据

分类设计创意
开发团队bacalhau-project
定价模式🏷️完全免费
价格说明开源框架,Apache-2.0许可证,可免费使用和自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai-art,ai-data-collection,ai-pipeline,batch-processing,bioinformatics-pipeline,data-analysis,data-engineering,data-science,decentralized,decentralized-computing,distributed,gene-sequencing,insulators,iot,logging-framework,orchestration-framework,p2p,video-processing
GitHub 星标★ 876
上线时间2021-11-05 00:00:00
代码更新2026-11-08
仓库体积198.4 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

Bacalhau 是一个社区驱动的分布式计算框架,专注于在数据所在位置执行计算,实现快速、低成本的‘数据计算’(Compute over Data)。它解决了传统架构中需要将大量数据移动到计算节点所带来的高延迟和高成本问题。核心能力包括:通过去中心化的网络调度容器化作业,支持 Docker 和 WebAssembly 工作负载;提供简单的命令行接口和 SDK,便于集成;内置数据寻址和内容寻址机制,确保数据与计算任务的关联性;支持在公共或私有网络(包括边缘设备)上运行,实现灵活的资源利用。Bacalhau 旨在简化分布式批处理和数据分析流程,让用户无需管理复杂基础设施即可运行大规模计算任务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 876

使用教程

难度:进阶 约 15 分钟 部署方式:命令行安装 4 步

环境要求

  • Docker 或兼容容器运行时

安装与启动步骤

  1. 1安装 CLI

    官方脚本一行装完,装完能跑 bacalhau version。

    curl -sL https://get.bacalhau.org/install.sh | bash
    bacalhau version
  2. 2起本地节点

    单进程同时当调度器和计算节点,先在本机跑通再扩集群。

    bacalhau serve --node-type compute,requester
    bacalhau node list
  3. 3提交作业

    docker run 把容器当作业投递,stdout 会回传。

    bacalhau docker run ubuntu -- echo hello bacalhau
    bacalhau job list
  4. 4取回产物

    describe 看状态与日志,get 把输出拉到本地。

    bacalhau job describe <JOB_ID>
    bacalhau job get <JOB_ID> --output-dir ./out

如何确认成功

job list 里状态为 Completed,且 ./out 下有文件。

注意事项

  • 它的思路是把计算搬到数据旁边,大文件不用出机房。
  • 多节点需要配 libp2p 与 NAT,单机试用不用管。

核心亮点

  • 数据本地化执行,减少大规模数据传输,显著降低延迟和带宽成本
  • 支持 Docker 和 WASM 工作负载,兼容主流容器生态,上手门槛低
  • 去中心化架构,可跨云、边缘和本地设备调度,灵活性强

不足之处

  • 项目早期,星标仅867,生态和文档尚不成熟
  • 调度和容错机制在极端场景下稳定性待验证

适用场景

  • 大规模数据集的批处理分析,如基因组学、卫星图像处理
  • 边缘计算场景,在数据产生地就近执行AI推理或数据清洗
  • 跨组织数据协作,避免原始数据迁移,保护数据隐私

替代项目

Apache Spark、Dask、Ray

上一篇:safe-openclaw

下一篇:comfy-pack

同类项目推荐

kong 开源

统一管理 API 和 AI 服务,流量安全一把梭

The API and AI Gateway

★ 44368 2026-08-09
mega 开源

为 AI 代理打造的 Git 兼容 monorepo 引擎,让大规模协作更高效。

Mega is an open-source implementation of Google Piper — a Git-compatible monorepo e···

★ 539 2026-08-09
zerolan-core 开源

一个框架集成本地多模态 AI 模型,开箱即用

ZerolanCore integrates many open-source, locally deployable AI models, and aims to i···

★ 122 2026-08-09
HuggingFaceModelDownloader 开源

不装 Python,一条命令拉取 HuggingFace 模型和数据集

Simple go utility to download HuggingFace Models and Datasets

★ 1211 2026-10-04
9router 开源

把付费 AI 编程模型换成免费替代,自动切换不限流

Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigr···

★ 32164 2026-08-09
TensorFold 开源

Mac 本地跑大模型,快而不糊,接口直接兼容 OpenAI

LLM Inference Engine for Metal, CUDA and Vulkan.

★ 1713 2026-10-04
kraken 开源

自托管 CI 系统,灵活流水线,轻松掌控测试全流程。

Kraken CI is a continuous integration and testing system.

★ 160 2026-08-09