一键在本地 GPU/NPU 上跑优化大模型，数据不出门
Lemonade 是一个面向本地 AI 应用的开源推理引擎，旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私、延迟和成本问题，让 AI 能力完全本地化。项目提供模型发现、下载和高效推理的一站式体验，核心能力包括对多种硬件架构的适配与性能优化，支持从模型仓库快速部署到本地环境。通过简洁的命令行或 API，开发者可以轻松集成并运行各类 LLM，实现数据不出本机的安全 AI 应用。项目社区活跃，提供 Discord 支持，适合个人开发者、隐私敏感型企业以及边缘计算场景。
1选择安装方式
README 提供 Windows MSI、Linux、macOS、Docker、源码五种入口，先按自己的系统选一种。
2安装 Lemonade Server
Windows 下载 lemonade.msi 双击安装；Linux/macOS 到 Releases 页下载对应安装包。
3Docker 方式安装
需要容器化部署时，按官方 Docker 安装文档执行，勿自行改动镜像参数。
4源码构建
想自行编译时参考仓库内 docs/dev/getting-started.md 的说明进行构建。
5下载模型
使用 Model Manager 浏览并下载所需模型，模型保存在本机供推理调用。
6本地生成测试
使用内置的聊天、图像生成、语音生成界面试跑模型，确认推理链路正常。
7接入常用应用
通过标准 OpenAI、Anthropic、Ollama API 把服务接入 Claude Code、Open WebUI 等应用。
在内置聊天、图像或语音生成界面成功产出结果，或 API 客户端能正常连接并返回内容。
Q：Windows 上怎么安装？
A：从 GitHub Releases 最新版本下载 lemonade.msi 并双击安装，装完即为本地 AI 服务。
Q：支持 NVIDIA 显卡吗？
A：支持。llamacpp 的 cuda 后端支持 Turing 或更新架构的 NVIDIA GPU，可在 Windows 和 Linux 使用。
Q：能用 Docker 部署吗？
A：可以。README 指向官方 Docker 安装文档 lemonade-server.ai/docs/guide/install/docker，按该文档操作。
Q：如何从源码构建？
A：参考仓库 docs/dev/getting-started.md 的开发入门文档，按其步骤自行编译。
Q：能和现有客户端搭配使用吗？
A：可以。Lemonade 提供标准的 OpenAI、Anthropic 和 Ollama API，可直接接入数百款兼容应用。
Ollama、llama.cpp、vLLM
lemonade 是基础设施领域的开源项目，由 lemonade-sdk 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（5,767）位列前 8%，在基础设施分类的 1,130 个项目里位列前 12%。
近 41 天，它的 GitHub 星标从 5,334 增加到 5,767，净增 433。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0许可，可免费自部署使用，无在线服务。
它主要面向的使用场景是：隐私敏感的企业内部AI助手。同类可对比的替代方案包括 Ollama、llama.cpp、vLLM。
上一篇：deepreasoning
下一篇：semantic-router
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
