项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-10 · 当前星标 ★ 720
核心亮点
- 针对 Apple Silicon 与 Qwen、Nemotron 做专门优化，本地推理延迟表现突出
- 同时兼容 OpenAI 与 Anthropic 两套 API 协议，现有客户端和 Agent 工具改个地址即可接入
- C++ 实现，运行时依赖少，适合嵌入本地工具链与编码 Agent 场景
不足之处
- 仅支持 Apple Silicon，无法在 x86 Mac、Linux 或 Windows 上使用，平台覆盖面窄
- 项目处于早期，模型支持范围集中在 Qwen 与 Nemotron，生态与文档待观察
适用场景
- 在 Mac 上本地部署 Qwen 模型，为编辑器插件或编码 Agent 提供低延迟推理后端
- 把已有基于 OpenAI 或 Anthropic SDK 的应用切换到本地模型，做离线演示与隐私敏感数据处理
- 开发者调试提示词与 Agent 流程时，用本地服务替代远程调用以降低迭代成本
替代项目
llama.cpp、Ollama、MLX
上一篇：Switchyard
下一篇：没有了！
同类项目推荐
omlx
开源
Mac 菜单栏一键跑大模型，SSD 缓存突破内存限制，连续批处理提速
LLM inference server with continuous batching & SSD caching for Apple Silicon — man···
claude-token-optimizer
开源
压缩提示词，立省 Claude API 费用
Cut the tokens Claude Code loads at session start. CLI that sets up a small CLAUDE.m···
TensorRT-Edge-LLM
开源
在边缘设备上跑大模型，C++ 推理又快又省显存
High-performance, light-weight C++ LLM and VLM Inference Software for Physical AI
ComfyUI-Nvidia-Docker
开源
一条命令拉起带 GPU 的 ComfyUI，权限不打架
ComfyUI for NVIDIA GPU in a Docker container with user configurable uid/gid
pmetal
开源
Mac 上一条龙跑大模型：推理、微调、服务全本地
PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA···
metaflow
开源
Netflix 同款流水线玩法，从实验到上线一路顺畅
Build, Manage and Deploy AI/ML Systems
brinicle
开源
低内存跑向量检索，小机器也能扛千万级索引
A resource-efficient C++ vector index engine built for low-RAM production workloads
ShannonBase
开源
像用 MySQL 一样，为 AI 应用构建统一数据底座
The Next-Gen Database for AI—an infrastructure designed for data and AI. As the MyS···
gpu_poor
开源
选显卡前先算一算：模型显存和速度一键估算
Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb···