项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1728
使用教程
环境要求
- macOS 系统的 Mac 电脑(Apple Silicon 可获得硬件加速)
- 已安装 Homebrew(使用 brew 安装方式时)
- 需要下载 GGUF 格式模型文件(可从 Hugging Face 获取)
- 本机需可访问 localhost:9931 端口
安装与启动步骤
-
1安装应用
用 Homebrew Cask 一键安装 Llama 菜单栏应用,安装完成后应用会出现在启动台和菜单栏。
brew install --cask llama-app -
2或从 Releases 下载
如果不用 Homebrew,可到 GitHub Releases 页面手动下载安装包,README 提供了该下载途径。
-
3启动 Llama
从启动台打开 Llama,它会以菜单栏应用形式运行,并自动在本机拉起一个本地推理服务。
-
4准备 GGUF 模型
在应用内一键安装推荐模型,或自行从 Hugging Face 下载任意 GGUF 模型;已通过 llama.cpp 安装的模型会自动出现在列表中。
-
5在 WebUI 中对话
使用内置 WebUI 选择模型开始多轮对话;模型按需加载、空闲时自动卸载,不占用常驻内存。
-
6调用本地 API
也可让其他应用(编码助手、聊天界面、编辑器)连接本地 API,或直接用 curl 列出已安装模型。
curl http://localhost:9931/v1/models
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
本地服务地址(Base URL) | 是 | 启动 Llama 后本机提供的 OpenAI 兼容接口前缀,供 WebUI 和外部应用连接。 | http://localhost:9931/v1 |
如何确认成功
启动应用后执行 curl http://localhost:9931/v1/models,能返回已安装模型列表即表示服务正常。
常见问题
Q:必须自己安装 llama.cpp 吗?
A:不必须。若本机已安装 llama.cpp,Llama 会直接使用它;否则应用会自动为你安装对应的预编译二进制。
Q:模型文件放在哪里?
A:模型存放在 Hugging Face 缓存目录中,与 llama.cpp 及其他工具共享,属于标准存储位置。
Q:数据会上传到云端吗?
A:不会。模型完全在本机运行,README 明确说明没有任何数据会离开你的 Mac。
Q:模型会一直占用内存吗?
A:不会。模型在被请求时加载、空闲时自动卸载,因此不用时可以释放内存。
Q:没有 Homebrew 怎么装?
A:可以直接前往 GitHub Releases 页面下载安装包手动安装。
注意事项
- 该应用为 macOS 专用,其他操作系统无法使用。
- 模型需要使用 GGUF 格式,可从 Hugging Face 获取,应用也会推荐适配你 Mac 硬件的模型。
- 本地服务默认监听 http://localhost:9931/v1,外部应用连接时使用该地址。
- 应用本身体积很小(约 4 MB),且无需任何额外配置,模型会按你的 Mac 自动设置最优参数。
核心亮点
- Swift 原生开发,界面贴合 macOS 风格,启动和交互流畅
- 基于 llama.cpp,支持 GGUF 模型,兼容 Apple Silicon 硬件加速
- 本地推理不上传数据,隐私友好且可离线使用
不足之处
- 仅支持 macOS,无法跨平台使用
- 模型格式依赖 GGUF,生态兼容范围有限
适用场景
- 在 Mac 上离线运行本地大模型进行日常问答
- 注重隐私的用户处理敏感文本,数据不出本机
- 开发者快速测试不同 GGUF 模型的效果与性能
替代项目
Ollama、LM Studio
同类项目推荐
rivescript-python
开源
用简单脚本快速构建聊天机器人,无需复杂编程。
A RiveScript interpreter for Python. RiveScript is a scripting language for chatterb···
alexa-skill-llm-intent
开源
给Alexa装上AI大脑,轻松实现智能语音对话
Alexa Skill that provides turn based conversations with an AI LLM. Bringing AI to yo···
yve-bot
开源
用规则快速搭建跨端对话机器人,无需机器学习
Smart rule-based bot. For Browser & Node.
wechat-gptbot
开源
让微信秒变AI助手,自动回复不封号
A wechat robot based on ChatGPT with no risk, very stable!
chatgpt-lite
开源
一键自托管,打造你的专属 ChatGPT 界面
ChatGPT Lite is a feature-rich, self-hostable ChatGPT app. Built with Next.js. Chat···
watson-assistant-slots-intro
开源
用插槽功能快速搭建点餐机器人,告别繁琐状态管理。
A Chatbot for ordering a pizza that demonstrates how using the IBM Watson Assistant ···
copilot-unleashed
开源
把 GitHub Copilot 变成你自己的手机聊天站,多模型随时切换
A mobile first, self-hosted multi-model AI chat powered by the GitHub Copilot SDK. A···
generative-ai-docs
开源
谷歌官方Gemini API示例库,快速上手生成式AI开发
This repository is deprecated and will be archived
ComfyJS
开源
几行代码接入 Twitch 聊天,快速打造机器人
Comfiest Twitch Chat Library for JavaScript | NodeJS + Browser Support
