Llama-macOS

Mac 上双击就能跑的本地大模型聊天应用

Llama-macOS 是一个用 Swift 编写的 macOS 原生应用，为本地大语言模型提供一个舒适易用的运行环境。它基于 llama.cpp 推理后端，让用户在 Mac 上直接加载并运行 GGUF 格式的模型，无需依赖云端服务，数据全程留在本地。核心能力包括模型文件的导入与管理、多轮对话界面、流式输出、参数调节（温度、上下文长度等），以及针对 Apple Silicon 的硬件加速支持。它解决的是普通用户想在 Mac 上零门槛体验本地 LLM 的问题：不用敲命令行、不用配置 Python 环境，下载模型后即可开聊。界面遵循 macOS 原生设计语言，轻量且启动快，适合注重隐私、希望离线使用 AI 助手的开发者与普通用户。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1512

维护状态活跃

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队ggml-org

所属国家

官网地址

GitHubhttps://github.com/ggml-org/Llama-macOS

定价模式free

价格说明开源免费，基于llama.cpp本地运行

访问状态

是否开源是

开源协议MIT

主要语言Swift

技术栈/模型ai,llama-cpp,llms,macos,swift

GitHub 星标★ 1512

30天Star增速

HF 下载量

上线时间2025-06-30 00:00:00

最近更新2026-09-18 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-16

浏览次数1

使用教程

难度：入门约 5 分钟部署方式：本地安装 6 步

环境要求

macOS 系统的 Mac 电脑（Apple Silicon 可获得硬件加速）
已安装 Homebrew（使用 brew 安装方式时）
需要下载 GGUF 格式模型文件（可从 Hugging Face 获取）
本机需可访问 localhost:9931 端口

安装与启动步骤

1安装应用

用 Homebrew Cask 一键安装 Llama 菜单栏应用，安装完成后应用会出现在启动台和菜单栏。
```
brew install --cask llama-app
```
2或从 Releases 下载

如果不用 Homebrew，可到 GitHub Releases 页面手动下载安装包，README 提供了该下载途径。
3启动 Llama

从启动台打开 Llama，它会以菜单栏应用形式运行，并自动在本机拉起一个本地推理服务。
4准备 GGUF 模型

在应用内一键安装推荐模型，或自行从 Hugging Face 下载任意 GGUF 模型；已通过 llama.cpp 安装的模型会自动出现在列表中。
5在 WebUI 中对话

使用内置 WebUI 选择模型开始多轮对话；模型按需加载、空闲时自动卸载，不占用常驻内存。
6调用本地 API

也可让其他应用（编码助手、聊天界面、编辑器）连接本地 API，或直接用 curl 列出已安装模型。
```
curl http://localhost:9931/v1/models
```

关键配置

配置项	必填	说明	示例
`本地服务地址（Base URL）`	是	启动 Llama 后本机提供的 OpenAI 兼容接口前缀，供 WebUI 和外部应用连接。	`http://localhost:9931/v1`

如何确认成功

启动应用后执行 curl http://localhost:9931/v1/models，能返回已安装模型列表即表示服务正常。

常见问题

Q：必须自己安装 llama.cpp 吗？

A：不必须。若本机已安装 llama.cpp，Llama 会直接使用它；否则应用会自动为你安装对应的预编译二进制。

Q：模型文件放在哪里？

A：模型存放在 Hugging Face 缓存目录中，与 llama.cpp 及其他工具共享，属于标准存储位置。

Q：数据会上传到云端吗？

A：不会。模型完全在本机运行，README 明确说明没有任何数据会离开你的 Mac。

Q：模型会一直占用内存吗？

A：不会。模型在被请求时加载、空闲时自动卸载，因此不用时可以释放内存。

Q：没有 Homebrew 怎么装？

A：可以直接前往 GitHub Releases 页面下载安装包手动安装。

注意事项

该应用为 macOS 专用，其他操作系统无法使用。
模型需要使用 GGUF 格式，可从 Hugging Face 获取，应用也会推荐适配你 Mac 硬件的模型。
本地服务默认监听 http://localhost:9931/v1，外部应用连接时使用该地址。
应用本身体积很小（约 4 MB），且无需任何额外配置，模型会按你的 Mac 自动设置最优参数。

核心亮点

Swift 原生开发，界面贴合 macOS 风格，启动和交互流畅
基于 llama.cpp，支持 GGUF 模型，兼容 Apple Silicon 硬件加速
本地推理不上传数据，隐私友好且可离线使用

不足之处

仅支持 macOS，无法跨平台使用
模型格式依赖 GGUF，生态兼容范围有限

适用场景

在 Mac 上离线运行本地大模型进行日常问答
注重隐私的用户处理敏感文本，数据不出本机
开发者快速测试不同 GGUF 模型的效果与性能

替代项目

Ollama、LM Studio

项目介绍

Llama-macOS 是一个对话助手领域的开源项目，官方简介：A cosy home for your LLMs.。项目使用 Swift 开发，在 GitHub 上获得 1506 星标。

上一篇：wa_llm

下一篇：没有了！