parallax

把多台机器拼成一个AI超级服务器，轻松跑大模型

Parallax 是一个分布式模型推理框架，旨在帮助用户在任何地方构建自己的 AI 集群。它通过将多个计算节点（如 GPU 服务器）聚合起来，统一调度和管理大语言模型的推理任务，从而解决单机显存不足、算力受限的问题。核心能力包括：支持多种主流模型（如 Llama、DeepSeek、GLM、Kimi 等），提供类似 Kubernetes 的集群管理体验，支持动态扩展节点，并具备负载均衡、容错和高效通信机制。用户可以通过简单的配置将多台机器组成一个逻辑上的超级推理服务器，按需分配资源，降低大规模模型部署的成本和门槛。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1388

维护状态维护中

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队GradientHQ

所属国家

官网地址

GitHubhttps://github.com/GradientHQ/parallax

定价模式free

价格说明开源框架，Apache-2.0许可证，可自由部署使用，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型blackwell,chatbot,decentralized-inference,deepseek,distributed-systems,glm,kimi,large-language-models,llama,llm,llm-serving,minimax,oss-gpt,python,pytorch,qwen,transformer

GitHub 星标★ 1388

30天Star增速

HF 下载量

上线时间2025-09-22 00:00:00

最近更新2026-09-23 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

难度：进阶约 10 分钟部署方式：命令行工具 5 步

环境要求

Git（用于克隆 parallax 仓库）
Python 环境（install.sh 会自动创建 .venv 虚拟环境）
至少一台可用的计算节点（GPU 服务器），分布式推理需多节点聚合
能访问 GitHub 与模型仓库的网络环境

安装与启动步骤

1克隆仓库

把 parallax 源码下载到本地，需保证网络能访问 GitHub。
```
git clone https://github.com/GradientHQ/parallax.git
```
2进入项目目录

后续安装脚本与命令都必须在 parallax 仓库目录内执行。
```
cd parallax
```
3运行安装脚本

install.sh 负责安装依赖并创建 .venv 虚拟环境，过程中请勿中断。
```
./install.sh
```
4激活虚拟环境

激活后 parallax 命令才可用，之后每次新开终端都需重新激活。
```
source .venv/bin/activate
```
5启动推理服务

用 -m 指定要加载的模型，启动后可接入客户端进行对话调用。
```
parallax serve -m Qwen/Qwen3.5-0.8B
```

关键配置

配置项	必填	说明	示例
`-m / --model`	是	指定要加载并对外提供推理服务的模型名称	`Qwen/Qwen3.5-0.8B`

如何确认成功

终端持续输出模型加载与节点调度日志且无报错，即表示服务已启动。

常见问题

Q：安装脚本执行失败怎么办？

A：先确认在 parallax 仓库目录内执行且网络可访问 GitHub。README 未提供更多排查细节，可到官方 Discord（discord.gg/parallaxai）求助。

Q：怎么换成别的模型？

A：启动时用 -m 参数指定其它模型即可，例如 -m Qwen/Qwen3.5-0.8B；README 提到支持 Llama、DeepSeek、GLM、Kimi 等。

Q：为什么必须 source 激活虚拟环境？

A：安装脚本把运行环境放在 .venv 中，未激活时 shell 里找不到 parallax 命令，激活后才能直接调用。

Q：和直接单机部署有什么区别？

A：Parallax 把多台机器的算力聚合成一个逻辑上的推理集群，可缓解显存不足和单机算力受限问题。

注意事项

README 只提供 Quick Install 流程，未写端口、配置文件和硬件最低要求，请以官方文档与仓库 docs 目录为准。
install.sh 会创建 .venv，每开一个新终端都需重新 source .venv/bin/activate。
所有命令都要在克隆下来的 parallax 目录中执行，否则找不到脚本和虚拟环境。

核心亮点

支持多种主流模型（Llama、DeepSeek、GLM等），兼容性好
分布式架构设计，可横向扩展节点，突破单机显存限制
提供类似K8s的集群管理体验，降低运维复杂度

不足之处

项目处于成长阶段，文档和社区生态待观察
分布式推理的网络通信开销可能影响性能，需优化

适用场景

个人或小团队利用闲置GPU构建私有推理集群
在边缘环境部署大模型，避免依赖云厂商
需要弹性扩展推理能力的生产环境

替代项目

vLLM、Ray Serve、TensorFlow Serving

项目介绍

parallax 是基础设施领域的开源项目，由 GradientHQ 开发，2025 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,388）位列前 30%，在基础设施分类中处于中上游。

近 42 天，它的 GitHub 星标从 1,365 增加到 1,388，净增 23。

项目仍在小幅维护中，最近一次代码更新于 2026-09-23。Apache-2.0许可证，可自由部署使用，无付费版本。

它主要面向的使用场景是：个人或小团队利用闲置GPU构建私有推理集群。同类可对比的替代方案包括 vLLM、Ray Serve、TensorFlow Serving。

上一篇：pixeltable

下一篇：WebAI-to-API