distributed-llama

把家里闲置设备组集群，跑大模型更快更省

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 260 🐛 待处理 48 👀 关注 52

GitHub ↗

GitHub 星标 ★ 3132

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

distributed-llama 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队b4rtaz

GitHubhttps://github.com/b4rtaz/distributed-llama

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C++

技术栈/模型distributed-computing,distributed-llm,llama2,llama3,llm,llm-inference,llms,neural-network,open-llm

GitHub 星标★ 3132

上线时间2023-12-04 00:00:00

代码更新2026-11-08

仓库体积3.7 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数7

项目介绍

distributed-llama 是一个用 C++ 实现的开源项目，旨在将家庭中的多台设备（如电脑、树莓派等）组成一个分布式集群，共同运行 Llama 大语言模型的推理任务。它解决了单台设备算力不足、无法运行大模型的问题，通过将模型切分到多台设备上并行计算，实现更快的推理速度。核心能力包括：支持 Llama 系列模型、自动设备发现与集群组网、模型分片与并行推理、基于 HTTP 的简单接口。项目处于成长阶段，适合在局域网内搭建低成本推理集群，让普通用户也能利用闲置设备体验大模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3132

技术标签

distributed-computing llama2 llama3 llm llm-inference

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 15 分钟部署方式：本地安装 5 步

环境要求

Python 3（用于运行 launch.py 启动脚本）
C++ 编译器（用于编译项目源码）
支持 Linux、macOS 或 Windows 操作系统
x86_64 AVX2 或 ARM 架构 CPU
多台设备需处于同一局域网并支持以太网高速通信

安装与启动步骤

1克隆项目仓库

从 GitHub 拉取 distributed-llama 源码到本地，后续所有编译和启动命令都在该目录内执行。
```
git clone https://github.com/b4rtaz/distributed-llama.git
cd distributed-llama
```
2确认编译运行环境

README 明确要求 Python 3 和 C++ 编译器；先确认本机已安装，否则编译阶段会失败。
```
python --version
g++ --version
```
3一行命令启动根节点

launch.py 会自动下载模型和 tokenizer 并编译运行根节点，按设备内存选择合适模型参数。
```
python launch.py llama3_2_1b_instruct_q40
```
4换用更大模型

内存充足时可替换命令里的模型名，例如 8B、70B 或 Qwen 3 系列，模型越大下载耗时越久。
```
python launch.py llama3_1_8b_instruct_q40
```
5加入更多设备加速

README 说明连接更多设备可提升推理速度，其他设备按对应平台文档接入同一集群。