mesh-llm

环境要求

• Linux / macOS 或 Windows（PowerShell）环境，能访问 GitHub 与模型下载源
• Windows 原生 CUDA 运行需 NVIDIA 显卡与驱动（README 已在 610.74 / CUDA 13.3 + RTX 4070 Ti 上验证）
• 可选：jq，用于解析 /v1/models 返回的 JSON
• 源码构建需要 just、cmake、Rust 以及 Node.js 24 + npm

安装与启动步骤

1. 1安装可执行文件

   在 Linux/macOS 终端执行官方安装脚本，下载并安装最新 release 可执行文件。

   curl -fsSL https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.sh | bash

   复制

2. 2Windows 安装

   在 PowerShell 中执行官方安装脚本完成安装；Apple Silicon 也可用 Homebrew 安装。

   irm https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.ps1 | iex

   复制

3. 3完成初始化

   运行 setup 生成配置与身份数据；Windows 原生环境改用 mesh-llm.exe setup。

   mesh-llm setup

   复制

4. 4启动并加入网络

   自动选择后端、按需下载模型并加入公共 mesh；本地 API 监听 9337，Web 控制台 3131。

   mesh-llm serve --auto

   复制

5. 5查看可用模型

   请求 /v1/models 并用 jq 提取模型 id，用于确认服务已就绪及后续请求的模型名。

   curl -s http://localhost:9337/v1/models | jq '.data[].id'

   复制

6. 6发送对话请求

   按 OpenAI 兼容格式调用 chat/completions，model 字段替换为上一步返回的真实模型 id。

   curl http://localhost:9337/v1/chat/completions 
     -H "Content-Type: application/json" 
     -d '{"model":"GLM-4.7-Flash-Q4_K_M","messages":[{"role":"user","content":"hello"}]}'

   复制

7. 7无头服务器部署

   服务器上追加 --headless 隐藏 Web UI，管理 API 仍监听 --console 指定的端口。

   mesh-llm serve --auto --headless

   复制

关键配置

如何确认成功

终端输出显示本地 API 已在 9337 端口启动；浏览器打开控制台 3131 可见界面，且 curl http://localhost:9337/v1/models 能返回模型 id 列表。

常见问题

注意事项

• Apple Silicon 可用 Homebrew 安装：brew install Mesh-LLM/tap/mesh-llm；更多平台包见 Mesh-LLM/mesh-packaging 仓库与官方安装文档。
• 源码构建流程：git clone https://github.com/Mesh-LLM/mesh-llm，cd mesh-llm，just build；环境需 just、cmake、Rust、Node.js 24 + npm。
• Windows 原生下模型下载到 %LOCALAPPDATA%huggingfacehub，与 Python 工具的 ~/.cache/huggingface 不是同一个缓存。
• Windows 原生 mesh-llm.exe 尚未代码签名，手动启动时可能触发 SmartScreen 提示。