web-llm-chat

浏览器里直接跑大模型，离线私密聊天零延迟

开源 🏷️完全免费 ✅ 目前可打开对话助手 🍴 复刻 233 🐛 待处理 38 👀 关注 16

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1139

维护状态活跃

是否开源开源

定价模式 🏷️完全免费完全免费，所有功能永久免费，无付费版本

项目预览

项目数据

分类对话助手

开发团队mlc-ai

官网地址https://chat.webllm.ai

GitHubhttps://github.com/mlc-ai/web-llm-chat

定价模式🏷️完全免费

价格说明完全免费，所有功能永久免费，无付费版本

访问状态✅ 目前可打开

是否开源是

开源协议Apache-2.0

主要语言TypeScript

技术栈/模型ai,chat,chat-application,chatbot,chatgpt,gemma,generative-ai,hermes,large-language-models,llama,llm,mistral,nextjs,phi2,privacy,qwen,redpajama,tinyllama,webgpu

GitHub 星标★ 1139

上线时间2024-05-15 00:00:00

代码更新2026-11-02

仓库体积23.9 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数2

项目介绍

web-llm-chat 是一个基于 Next.js 和 TypeScript 构建的浏览器端 AI 对话助手，它利用 WebLLM 技术将大语言模型（如 Llama、Mistral、Gemma 等）直接运行在浏览器中，无需服务器。该项目解决了传统 AI 聊天应用依赖云端 API、数据隐私受限和网络延迟的问题，通过 WebGPU 和 WASM 实现本地推理，提供完全私密、离线可用的对话体验。核心能力包括：支持多种开源模型切换、流式输出、多轮对话管理、对话历史持久化，以及可自定义的系统提示词。用户只需打开网页即可享受 AI 服务，所有数据留在本地，特别适合注重隐私或需要离线使用的场景。项目代码结构清晰，易于二次开发，适合开发者快速集成或定制自己的浏览器端 AI 助手。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1139

技术标签

ai chat chat-application chatbot chatgpt

使用教程

难度：入门约 10 分钟部署方式：本地安装 6 步

环境要求

Node.js（README 要求先安装 Node.js）
Yarn 包管理器
支持 WebGPU 的现代浏览器（用于浏览器内本地推理）
Docker（仅在选择 Docker 部署时需要）

安装与启动步骤

1准备 Node.js 与 Yarn

README 明确要求先安装 Node.js 和 Yarn，请到各自官网完成安装并确保 node、yarn 命令可用。
2安装项目依赖

在项目根目录执行，根据 package.json 下载全部依赖，网络慢时可先配置镜像源。
```
yarn install
```
3启动开发服务

以开发模式启动应用，README 给出的启动命令，运行后保持终端窗口开启。
```
yarn dev
```
4构建 Docker 镜像

如需容器化部署，在项目根目录构建名为 webllm_chat 的镜像。
```
docker build -t webllm_chat .
```
5运行 Docker 容器

后台启动容器并把容器 3000 端口映射到宿主机 3000 端口。
```
docker run -d -p 3000:3000 webllm_chat
```
6带代理运行容器

当需要走本地代理访问模型资源时，通过 PROXY_URL 环境变量传入代理地址。
```
docker run -d -p 3000:3000 \
   -e PROXY_URL=http://localhost:7890 \
   webllm_chat
```

关键配置

配置项	必填	说明	示例
`PROXY_URL`	否	Docker 容器运行时指定代理地址，用于下载或访问模型资源	`http://localhost:7890`
`PROXY_URL（含账号密码）`	否	代理需要认证时，在地址后空格追加用户名和密码	`http://127.0.0.1:7890 user pass`