mlx-swift-lm

在苹果设备上本地跑大模型，Swift 直接调用

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开发框架 🍴 复刻 456 🐛 待处理 130 👀 关注 18
GitHub ↗
GitHub 星标 ★ 855
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

mlx-swift-lm 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开发框架
开发团队ml-explore
GitHubhttps://github.com/ml-explore/mlx-swift-lm
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Swift
GitHub 星标★ 855
上线时间2025-10-02 00:00:00
代码更新2026-11-02
仓库体积5.7 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

mlx-swift-lm 是苹果 MLX 框架的 Swift 语言实现，用于在 Apple Silicon 设备上本地运行大语言模型（LLM）和多模态视觉语言模型（VLM）。它解决了在 iOS、macOS 原生应用中直接调用大模型推理的问题，无需依赖云端 API 或 Python 环境。核心能力包括：加载并运行主流开源模型权重，支持文本生成、多模态图像理解，利用 Metal 和统一内存架构在 Mac 与 iPhone/iPad 上高效推理。项目提供 Swift API，方便开发者将本地 AI 能力集成到 App 中，适合对隐私、离线场景有要求的移动端和桌面端应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 855

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 25 分钟 部署方式：本地安装 4 步

环境要求

  • macOS 14+
  • Apple Silicon
  • Xcode 15+

安装与启动步骤

  1. 1建 Swift 包

    MLX 上的 LLM/VLM 工具库，按 Swift Package 引入。

    mkdir LMDemo && cd LMDemo && swift package init --type executable

  2. 2加依赖

    在 Package.swift 里指向仓库。

    .package(url: "https://github.com/ml-explore/mlx-swift-lm.git", from: "1.0.0")

  3. 3写调用

    加载量化模型后逐 token 生成。

    import MLXLLM
// let model = try await loadModel(...)

  4. 4跑起来

    Apple Silicon 上编译后直接执行。

    swift run

如何确认成功

命令行能产出连续的文本流，且内存占用平稳。

注意事项

  • 它只能在 Apple Silicon 上跑，Intel Mac 不行。
  • 模型要 MLX 格式，HF 上的原始权重需转换。

核心亮点

  • 基于 MLX 和 Metal，在 Apple Silicon 上推理效率高
  • 纯 Swift 实现，可无缝集成到 iOS/macOS 原生应用
  • 同时支持 LLM 和 VLM，覆盖文本与多模态场景

不足之处

  • 仅支持 Apple 平台，无法跨平台使用
  • 项目早期，模型兼容性和文档完善度待观察

适用场景

  • 开发离线可用的 iOS 聊天助手
  • 在 Mac 上本地运行多模态图像理解工具
  • 为苹果生态应用添加隐私安全的本地 AI 能力

替代项目

llama.cpp、mlc-llm

上一篇：llm4s

下一篇：llm-gemini

同类项目推荐

Telegram.Bot.Framework 开源

用 C# 快速搭建 Telegram 机器人，省去重复造轮子

Simple framework for building Telegram bots

★ 98 2026-08-09
dsh-codex-connect 开源

在 DeepSeek Harness 里用 ChatGPT 账号直接调 Codex 和画图

Use openai-codex models and image generation via ChatGPT OAuth for DeepSeek Harness.

★ 179 2026-09-16
binex 开源

让 AI 工作流可调试、可回放、可追踪

Debuggable runtime for AI agent workflows. DAG pipelines, artifact lineage, and repl···

★ 63 2026-08-09
Gemini-AI-KMP-App 开源

一套 Kotlin 代码，让 Gemini AI 跑遍六大平台

Gemini AI Kotlin Multiplatform project designed to target Android, iOS, Windows, mac···

★ 114 2026-08-09
FlowBlock 开源

并行加速扩散语言模型，自校正不减速

FlowBlock: Wavefront-Parallel Decoding Framework for Self-Correcting Diffusion Langu···

★ 44 2026-08-09
aikit 开源

不绑 SDK 的 AI 聊天 UI 库，换模型前端不用重写

A comprehensive, SDK-agnostic UI library built on Atomic Design principles. Create b···

★ 171 2026-10-08
grove 开源

一条命令，为每个 Git 分支启动带 AI 助手的彩色终端工作区

AI-native terminal workspace. One command to launch colored Zellij tabs per git work···

★ 81 2026-08-09
liteflow 开源

像编排组件一样编排 AI Agent，轻松实现复杂流程。

Lightweight, fast, stable, programmable component-based rule engine — where AI Agen···

★ 3895 2026-08-09
lightspeed 开源

用 Temporal 打造确定性 AI 智能体，让每次执行都可预测、可恢复。

Deterministic agent harness for Temporal (in Rust)

★ 271 2026-08-09