llama-gpt

本地跑起ChatGPT，数据不出门，隐私百分百

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 702 🐛 待处理 98 👀 关注 74

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 10925

维护状态低维护

是否开源开源

定价模式 🏷️完全免费完全开源免费，MIT许可证，可自行部署，无在线服务。

项目预览

项目数据

分类开源模型

开发团队getumbrel

官网地址https://apps.umbrel.com/app/llama-gpt

GitHubhttps://github.com/getumbrel/llama-gpt

定价模式🏷️完全免费

价格说明完全开源免费，MIT许可证，可自行部署，无在线服务。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型ai,chatgpt,code-llama,codellama,gpt,gpt-4,gpt4all,llama,llama-2,llama-cpp,llama2,llamacpp,llm,localai,openai,self-hosted

GitHub 星标★ 10925

上线时间2023-07-22 00:00:00

代码更新2024-04-23

仓库体积1.7 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

llama-gpt 是一个完全自托管的离线聊天机器人，由 Llama 2 模型驱动，提供类似 ChatGPT 的交互体验。它解决了用户在使用云端 AI 服务时对隐私和数据安全的担忧，确保 100% 的对话数据不离开本地设备。项目基于 TypeScript 开发，核心能力包括本地模型推理、多模型支持（如 Code Llama）、简单的 Web 界面以及 API 接口。用户可以通过 Docker 或本地命令快速部署，无需依赖外部网络。项目还支持模型量化以降低资源消耗，适合在个人电脑或边缘设备上运行。作为开源项目，它提供了高度的可定制性，允许开发者集成到自己的应用中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 10925

技术标签

ai chatgpt gpt gpt-4 gpt4all

使用教程

难度：入门约 20 分钟部署方式：Docker 7 步

环境要求

已安装 Docker（Docker Desktop 或 Docker Engine 均可）
支持 x86 或 arm64 架构的系统
M1/M2 Mac 上还需安装 Xcode
如需 GPU 加速，需具备 Nvidia GPU
使用 Kubernetes 部署时需有可用集群并配置好 kubectl

安装与启动步骤

1克隆项目仓库

把 llama-gpt 源码下载到本地，需要能访问 GitHub 网络。
```
git clone https://github.com/getumbrel/llama-gpt.git
```
2进入项目目录

切换到刚克隆下来的目录，后续命令都在此目录下执行。
```
cd llama-gpt
```
3Docker 启动服务

在任意 x86/arm64 系统上运行，默认使用 7B 模型；13B、70B 把 7b 换成 13b、70b。
```
./run.sh --model 7b
```
4启用 GPU 加速(可选)

有 Nvidia GPU 时加上 --with-cuda 参数，可显著提升推理速度。
```
./run.sh --model 7b --with-cuda
```
5M1/M2 Mac 启动

Mac 用户改用 run-mac.sh；Code Llama 模型可用 code-7b、code-13b、code-34b。
```
./run-mac.sh --model 7b
```
6Kubernetes 部署(可选)

先创建 llama 命名空间，再应用 deploy/kubernetes 下的清单，之后按自己方式暴露服务。
```
kubectl create ns llama
kubectl apply -k deploy/kubernetes/. -n llama
```
7访问聊天界面

服务就绪后浏览器打开 http://localhost:3000 即可对话，停止服务在终端按 Ctrl+C。

关键配置

配置项	必填	说明	示例
`--model`	是	指定使用的模型规格，7b/13b/70b 为对话模型	`7b`
`--model (Code Llama)`	否	使用代码模型时填 code-7b / code-13b / code-34b	`code-7b`
`--with-cuda`	否	有 Nvidia GPU 时启用 CUDA 加速推理	`--with-cuda`
`-n llama`	否	Kubernetes 部署时指定的命名空间	`llama`