project-maya

本地跑 321B MoE 大模型，单卡到 16 卡，兼容 OpenAI 接口

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1025

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队mw00

所属国家

官网地址

GitHubhttps://github.com/mw00/project-maya

定价模式free

价格说明开源免费，需自备GPU部署

访问状态

是否开源是

开源协议MIT

主要语言C++

技术栈/模型cuda,glm,glm-5,llm,llm-inference,local-llm,mixture-of-experts,moe,openai-api,quantization,rocm,self-hosted

GitHub 星标★ 1025

30天Star增速

HF 下载量

上线时间2026-10-06 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-19

浏览次数0

项目介绍

Project Maya 是一个面向 GLM-5.3-Flash（321B 参数 MoE 架构）大模型的私有化推理引擎，目标是让用户在自己的 GPU 上本地运行这个超大规模模型，而不依赖云端 API。项目用 C++ 编写，同时支持 NVIDIA CUDA 和 AMD ROCm 两种加速后端，覆盖 Linux 与 Windows 平台，可从单卡扩展到 16 卡部署。核心能力包括：自研推理引擎与服务端、可视化 Dashboard、兼容 OpenAI 与 Anthropic 的 API 接口，以及配套的量化工具，帮助用户在有限显存下加载 321B 级别的 MoE 模型。它解决的是大模型私有部署门槛高、显存需求大、API 生态不统一的问题，适合需要数据不出内网、又希望沿用现有 OpenAI/Anthropic SDK 的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 60 分钟部署方式：本地安装 6 步

环境要求

Linux 环境（Windows 为实验性支持，需走 START-MAYA.bat 流程）
NVIDIA GPU（CUDA）或 AMD GPU（ROCm）
磁盘需容纳模型权重与源码构建产物
首次构建约 20-40 分钟（不含模型下载时间）
运行时引擎会占用几乎全部空闲内存（仅留约 6GB）

安装与启动步骤

1克隆仓库

把项目源码下载到本地并进入目录，后续所有命令都在该目录执行。
```
git clone https://github.com/mw00/project-maya.git && cd project-maya
```
2运行安装脚本

按提示回答几个问题，直接回车即采用推荐选项；脚本会先列出全部下载内容再开始。
```
./setup.sh
```
3等待构建与启动

脚本会完成构建（约 20-40 分钟，另加模型下载时间），结束后自动启动模型服务。
4打开控制台

在浏览器访问本地地址查看可视化 Dashboard，确认服务已就绪，即可开始对话或调用 API。
5Windows 用户启动

Windows 下改用 START-MAYA.bat 代替 setup.sh，具体步骤参见 docs/WINDOWS.md。
```
START-MAYA.bat
```
6后续更新

可在 Dashboard 的 About > Update 升级，或先 git pull 再重跑安装脚本，模型不会重复下载。
```
git pull && ./setup.sh
```

如何确认成功

浏览器打开 http://127.0.0.1:8080 能看到 Maya 的 Dashboard 页面，即表示启动成功。

常见问题

Q：首次启动要等多久？

A：构建本身约 20-40 分钟，加上模型下载会更久；完成后 ./setup.sh 再次启动会立即拉起模型，无需重建。

Q：Windows 上怎么安装？

A：不要用 ./setup.sh，改为运行 START-MAYA.bat，详细说明见仓库 docs/WINDOWS.md。

Q：AMD 显卡能用吗？

A：支持 ROCm 后端，属于实验性支持，具体步骤见 docs/AMD_MAYA.md。

Q：怎么升级到新版本？

A：用 Dashboard 的 About > Update，或在仓库目录执行 git pull 后重新运行 ./setup.sh，已下载的模型不会重新下载。

Q：运行时其他程序很卡怎么办？

A：引擎会锁定除约 6GB 外的全部空闲内存用于专家分层，建议运行期间关闭其他占内存的程序。

注意事项

安装脚本会在真正下载前展示所有下载内容，确认后再继续
构建耗时较长（20-40 分钟）且依赖模型下载，请预留时间与磁盘
运行时内存占用极高，几乎占满空闲内存
Windows 与 AMD 支持标注为实验性，遇到问题优先查阅 docs 目录对应文档

核心亮点

同时支持 NVIDIA CUDA 与 AMD ROCm，跨 Linux/Windows，硬件选择不被单一厂商锁定
内置 OpenAI 与 Anthropic 双兼容 API，现有 SDK 和工具链可低成本迁移
提供量化工具与 Dashboard，321B MoE 在有限显存下的部署和监控有配套方案

不足之处

321B MoE 模型对显存和带宽要求极高，单卡场景实际可用性依赖量化程度，官方未给出各配置的明确性能基准
项目处于成长早期（约千星），生产环境稳定性、长稳测试和社区案例仍需观察

适用场景

企业内部需要数据不出内网的 GLM 大模型私有部署
研究团队在多卡工作站上本地实验 321B MoE 模型
已有 OpenAI/Anthropic SDK 的应用希望切换到自托管后端而不改代码

替代项目

vLLM、llama.cpp

上一篇：genai-prices

下一篇：gufo