slotstream
小内存 Mac 也能跑百 GB 大模型，从 SSD 流式加载
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 653
核心亮点
- 纯 Swift + MLX/Metal 原生实现，无 Python 运行时依赖，启动与集成更轻
- SSD 流式加载权重，突破物理内存上限，让 16 GB 机器也能运行 105 GB 级模型
- 同时提供 Ollama/OpenAI/Anthropic 兼容 API，可直接接入 Claude Code、Codex 等现有工具链
不足之处
- 流式加载受 SSD 带宽限制，推理速度明显低于全量驻留内存的方案
- 目前仅支持 Apple Silicon macOS，平台覆盖面窄
- 早期项目，模型兼容范围与文档完善度有待观察
适用场景
- 在内存有限的 MacBook 上本地运行超大 MoE 模型做实验
- 为 Claude Code 等编码代理提供本地离线模型后端
- 开发者以 Swift 库形式把本地推理能力嵌入 macOS 应用
替代项目
llama.cpp、Ollama、MLX
上一篇：PolyStrata
下一篇：dsh-cost-meter
同类项目推荐
stable-diffusion-nodejs
开源
在 Node.js 里直接跑 Stable Diffusion，GPU 加速出图
GPU-accelerated javascript runtime for StableDiffusion. Uses modified ONNX runtime t···
python
开源
用 Python 轻松驾驭大规模向量检索，性能与稳定兼得
Python client for Antarys vector database, optimized for large-scale vector operatio···
universal
开源
用可定制数字类型，在精度与性能间自由取舍
Large collection of number systems providing custom arithmetic for mixed-precision a···
awesome-fde-resources
开源
一站式收藏夹，让前向部署工程师少走弯路
A curated collection of resources, tools, practices, case studies, and opportunities···
clearml-fractional-gpu
开源
一块GPU跑多个容器，显存限制+时间切片，利用率翻倍
ClearML Fractional GPU - Run multiple containers on the same GPU with driver level m···
Rapid-MLX
开源
让 Mac 跑大模型快 4 倍，工具调用全兼容
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM infere···
model-compose
开源
一个 YAML 文件，快速部署生产级 AI 服务，随处运行。
Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···
vllm
开源
同一个模型跑出几倍速度，机器成本省一半
A high-throughput and memory-efficient inference and serving engine for LLMs
knowledgeops-agent
开源
快速搭建企业级安全可观测的 RAG 知识问答平台
Production-oriented Spring AI platform prototype for RAG, tool calling, async ingest···