项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 564
核心亮点
- 用 Swift 实现，贴合 Apple Silicon 与 macOS 生态，便于在 Mac 上原生部署
- 把闲置 Mac 算力聚合为推理网络，降低对集中式 GPU 服务器的依赖
- 强调私有推理，输入数据在自有节点间流转，适合数据敏感场景
不足之处
- 早期项目，节点调度、容错和模型兼容性等能力仍在演进
- 主要面向 Mac 设备，跨平台与异构硬件支持有限
适用场景
- 小团队用多台闲置 Mac 搭建内部模型推理服务
- 对数据外发敏感的场景下做本地化推理验证
- 研究边缘算力聚合与分布式推理调度的技术原型
替代项目
exo、llama.cpp、Ollama
同类项目推荐
stable-fast
开源
让 Stable Diffusion 在 NVIDIA GPU 上跑出数倍速度，无需改代码。
https://wavespeed.ai/ Best inference performance optimization framework for HuggingF···
domino-research
开源
拿来即用的企业级数据科学实验管理工具箱
Projects developed by Domino's R&D team
tpu-inference
开源
让 vLLM 推理直接跑在 TPU 上
Moving to vllm-project/vllm-jax. TPU inference for vLLM, with unified JAX and PyTorc···
easy-vecdb
开源
手把手带你从零实现向量数据库，搞懂原理不再黑盒
从零开始的向量数据库原理与实践教程，在线阅读地址：https://easy-vecdb.datawhale.cc/
HiRoute
开源
本地分流代理请求，省钱模型干杂活，强模型只啃硬骨头
Make Codex and Claude Code subscriptions go further: a local model router that gives···
MLOps
开源
让机器学习模型从实验室平滑走向生产，告别手工部署烦恼。
Machine Learning In Production (MLOps)
afm-Server
开源
把苹果设备端模型变成本地 OpenAI API，一键调用
macOS menu bar app that exposes Apple's on-device Foundation Models as an OpenAI-com···
llm-checker
开源
一条命令扫描硬件，告诉你本地能跑哪些大模型
Advanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM m···
strix-halo-guide
开源
AMD Strix Halo 跑本地大模型，先看这份实测指南再动手
Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama···