SwiftLM

Mac/iPhone 上跑本地大模型，OpenAI 接口直接调

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 57 🐛 待处理 4 👀 关注 3
GitHub ↗
GitHub 星标 ★ 793
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

SwiftLM 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队SharpAI
GitHubhttps://github.com/SharpAI/SwiftLM
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Swift
技术栈/模型apple-sili,inference,ios,llm,metal,mlx,moe,on-device-ai,openai-api,swift
GitHub 星标★ 793
上线时间2026-03-21 00:00:00
代码更新2026-11-02
仓库体积34.3 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

SwiftLM 是一个面向 Apple Silicon 的原生 MLX Swift 大模型推理服务器，目标是把本地 LLM 推理做成可直接调用的 OpenAI 兼容服务。它解决的核心问题是：在 Mac 和 iPhone 上跑大模型时，显存/内存不够、推理框架与生态割裂、难以接入现有 OpenAI SDK 工具链。项目提供 OpenAI 兼容 API，现有客户端只需改 base URL 即可调用本地模型；通过 SSD 流式加载支持 100B+ 的 MoE 模型，让超大模型在统一内存有限的设备上也能运行；TurboQuant KV 缓存压缩降低长上下文的内存占用；同时附带 macOS 与 iOS 的 iPhone App，方便在移动端直接体验本地推理。整体定位是 Apple 生态里开箱即用的本地推理基础设施，适合想用 Swift/MLX 做端侧 AI 应用、又不想自己写推理服务层的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 793

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 30 分钟 部署方式：本地安装 4 步

环境要求

  • Apple Silicon Mac
  • Xcode 命令行工具
  • 8G+ 统一内存

安装与启动步骤

  1. 1递归克隆

    Swift 写的 MLX 推理服务，含子模块。

    git clone --recursive https://github.com/SharpAI/SwiftLM

  2. 2构建

    仓库带 build.sh。

    cd SwiftLM && ./build.sh

  3. 3起服务

    指定模型与端口，接口兼容 OpenAI。

    ./SwiftLM --model mlx-community/Qwen2.5-3B-Instruct-4bit --port 5413

  4. 4用 OpenAI SDK 调

    把 base_url 指过来即可。

    curl http://localhost:5413/v1/models

如何确认成功

curl 能列出模型，chat/completions 返回正常。

注意事项

  • 它是 Apple 芯片上跑本地模型最省心的方案之一。
  • 模型名必须是 MLX 格式的仓库，普通 GGUF 不认。
  • 首次加载模型会下载，几 G 起步。

核心亮点

  • 原生 MLX Swift 实现，充分利用 Apple Silicon 的 Metal 与统一内存，非 Python 套壳
  • 提供 OpenAI 兼容 API，现有 SDK 和工具链改 base URL 即可接入本地模型
  • 支持 SSD 流式加载 100B+ MoE 模型，突破统一内存对模型体积的限制

不足之处

  • 仅支持 Apple Silicon，无法在 Linux/Windows 或非 M 系列芯片上运行
  • 早期项目，766 星，生态、文档与社区案例相对有限
  • Swift/MLX 推理性能与模型格式兼容性相比 llama.cpp 等成熟方案仍需验证

适用场景

  • 在 Mac 上搭建本地 LLM 服务，供 Cursor、Continue 等 OpenAI 兼容客户端调用
  • iPhone 端侧 AI 应用开发，用本地模型做隐私敏感的对话或摘要
  • 研究者在 Apple Silicon 上测试 MoE 大模型与 KV 缓存压缩的推理表现

替代项目

llama.cpp、Ollama、MLX

上一篇：hoop

下一篇：pegainfer

同类项目推荐

xberg 开源

一个库解析百种文档，支持多语言调用，省去格式适配烦恼。

The fast, precise document-intelligence engine for every language: text, tables and ···

★ 9512 2026-08-09
ChatGPT-Mirror 开源

一键部署，秒开个人 ChatGPT 镜像站

一键部署个人的 ChatGPT 镜像站

★ 1408 2026-08-09
qzcli_tool 开源

命令行管理启智AI任务，资源查询、提交、看日志一步到位，还能接入agent。

启智平台任务管理 CLI：资源查询、任务提交、日志查看和 MCP/agent workflow

★ 142 2026-08-09
agentglass 开源

一个屏幕管住所有 AI 编程代理，实时看成本、拦危险操作

Every AI coding agent on your machine, on one screen — live cost, tokens and tool c···

★ 345 2026-08-09
intel-extension-for-transformers 开源

在英特尔硬件上，几分钟内打造并加速你的聊天机器人

⚡ Build your chatbot within minutes on your favorite device; offer SOTA compression···

★ 2174 2026-08-09
biniou 开源

一个界面搞定 30+ 生成式 AI，本地部署即开即用

a self-hosted webui for 30+ generative ai

★ 1152 2026-08-09
litellm-rs 开源

用 Rust 实现的高性能 AI 网关，一行代码切换 100+ 大模型

Self-hosted Rust LLM gateway with OpenAI-compatible APIs, load balancing, failover, ···

★ 121 2026-08-09
chats 开源

一套接口接入21+大模型，聊天与网关开箱即用

A powerful and flexible frontend & AI gateway for large language models, supporting ···

★ 618 2026-09-15
5.0-Ai-Engineering-Toolkit 开源

一套 Python 工具，把 AI 训练到部署的脏活串起来

Engineering toolkit for building scalable AI systems, including model training pipel···

★ 475 2026-09-19