LocalLLMClient 是基础设施领域的开源项目，由 tattn 开发，2025 年首次发布。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 219。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-21。MIT 许可证，完全免费，无付费版本。
它主要面向的使用场景是：在iOS应用中集成离线智能助手，如文本生成、摘要。同类可对比的替代方案包括 llama.cpp、MLC LLM、SwiftTransformers。
LocalLLMClient
在苹果设备上轻松跑本地大模型，离线也能用
LocalLLMClient 是一个用 Swift 编写的开源包，旨在让开发者能够在 iOS、macOS 和 Linux 上直接运行本地大语言模型（LLM）。它解决了在苹果生态系统中集成本地 AI 推理的痛点，无需依赖云端 API，从而降低延迟、保护隐私并支持离线使用。该库提供了简洁的 Swift 接口，封装了模型加载、推理调用和资源管理等底层细节，使开发者可以轻松地将本地 LLM 能力嵌入到自己的应用中。核心能力包括跨平台支持（iOS/macOS/Linux）、本地模型推理、以及面向 Swift 开发者的原生体验。作为早期项目，它正在快速迭代，为苹果生态的本地 AI 应用开发提供了一个轻量级的基础设施选择。
开源
free
开源模型
GitHub 星标
★ 219
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队tattn
所属国家
定价模式free
价格说明开源项目，MIT 许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Swift
技术栈/模型foundation-models,gemma,gguf,ios,linux,llama,llm,macos,mlx,qwen,swift
GitHub 星标★ 219
30天Star增速
HF 下载量
上线时间2025-04-29 00:00:00
最近更新2026-09-21 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 原生 Swift 实现，与 iOS/macOS 应用无缝集成
- 支持多平台（iOS/macOS/Linux），覆盖苹果生态和服务器端
- 本地推理保护隐私，无需网络连接，降低使用成本
不足之处
- 项目处于早期阶段，API 可能不稳定，文档有待完善
- 功能相对基础，可能缺少高级特性（如模型微调、量化优化）
适用场景
- 在 iOS 应用中集成离线智能助手，如文本生成、摘要
- macOS 开发工具中嵌入本地代码补全或文档分析
- Linux 服务器上部署轻量级 LLM 服务，用于内部自动化
替代项目
llama.cpp、MLC LLM、SwiftTransformers
项目介绍
上一篇：tabpfn-client
下一篇：afm-Server
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···