parallax

把多台机器拼成一个AI超级服务器，轻松跑大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署对话助手 🍴 复刻 152 🐛 待处理 23 👀 关注 27

GitHub ↗

GitHub 星标 ★ 1422

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源框架，Apache-2.0许可证，可自由部署使用，无付费版本。

项目预览

项目数据

分类对话助手

开发团队GradientHQ

GitHubhttps://github.com/GradientHQ/parallax

定价模式🏷️完全免费

价格说明开源框架，Apache-2.0许可证，可自由部署使用，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型blackwell,chatbot,decentralized-inference,deepseek,distributed-systems,glm,kimi,large-language-models,llama,llm,llm-serving,minimax,oss-gpt,python,pytorch,qwen,transformer

GitHub 星标★ 1422

上线时间2025-09-22 00:00:00

代码更新2026-07-01

仓库体积18.1 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

Parallax 是一个分布式模型推理框架，旨在帮助用户在任何地方构建自己的 AI 集群。它通过将多个计算节点（如 GPU 服务器）聚合起来，统一调度和管理大语言模型的推理任务，从而解决单机显存不足、算力受限的问题。核心能力包括：支持多种主流模型（如 Llama、DeepSeek、GLM、Kimi 等），提供类似 Kubernetes 的集群管理体验，支持动态扩展节点，并具备负载均衡、容错和高效通信机制。用户可以通过简单的配置将多台机器组成一个逻辑上的超级推理服务器，按需分配资源，降低大规模模型部署的成本和门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1422

技术标签

chatbot deepseek distributed-systems glm kimi

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 10 分钟部署方式：命令行工具 5 步

环境要求

Git（用于克隆 parallax 仓库）
Python 环境（install.sh 会自动创建 .venv 虚拟环境）
至少一台可用的计算节点（GPU 服务器），分布式推理需多节点聚合
能访问 GitHub 与模型仓库的网络环境

安装与启动步骤

1克隆仓库

把 parallax 源码下载到本地，需保证网络能访问 GitHub。
```
git clone https://github.com/GradientHQ/parallax.git
```
2进入项目目录

后续安装脚本与命令都必须在 parallax 仓库目录内执行。
```
cd parallax
```
3运行安装脚本

install.sh 负责安装依赖并创建 .venv 虚拟环境，过程中请勿中断。
```
./install.sh
```
4激活虚拟环境

激活后 parallax 命令才可用，之后每次新开终端都需重新激活。
```
source .venv/bin/activate
```
5启动推理服务

用 -m 指定要加载的模型，启动后可接入客户端进行对话调用。
```
parallax serve -m Qwen/Qwen3.5-0.8B
```