项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 142
核心亮点
- 突破内存限制，可运行远超 RAM 容量的模型
- 与 MLX 深度集成，使用简单，兼容现有模型
- 流式加载机制，按需读取，减少启动延迟
不足之处
- 文档/社区待观察
- 依赖 Apple Silicon，非通用平台
适用场景
- 在 Mac 上本地运行 70B+ 参数大模型
- 内存受限的 Apple 设备进行模型推理测试
- 开发需要大模型但无法负担高配硬件的场景
替代项目
llama.cpp、MLX-LM、ExLlamaV2
同类项目推荐
quokka
开源
让数据湖高效处理时序数据，写入查询都快
Making data lake work for time series
awesome-ml-serving
开源
一张清单，搞定生产级模型服务选型
A curated list of awesome open source and commercial platforms for serving models in···
docker-containers
开源
拉取即用，快速搭建 fast.ai 深度学习环境
Docker images for fastai
gpu_poor
开源
选显卡前先算一算：模型显存和速度一键估算
Calculate token/s & GPU memory requirement for any LLM. Supports llama.cpp/ggml/bnb···
databend
开源
一份数据在 S3 上同时做分析、搜索和 AI，不用搬来搬去
Data Agent Ready Warehouse : One for Analytics, Search, AI, Python Sandbox. — reb···
nexus
开源
用 Rust 给 AI 上把锁，治理安全两不误
Govern & Secure your AI
comfyui-docker
开源
用 Docker 一键跑起 ComfyUI，告别环境配置地狱
Docker image for ComfyUI: The most powerful and modular stable diffusion GUI, api an···
FAI-Model
开源
一键部署大模型，推理性能拉满，API 兼容 OpenAI。
FriendliAI Model Hub
onnxruntime-genai
开源
ONNX 模型一键跑生成式 AI，跨平台多语言
Generative AI with ONNX Runtime