web-llm

在浏览器里直接跑大模型，无需服务器，隐私又省钱

开源 🏷️完全免费 🚫 站点已失效 对话助手 🍴 复刻 1408 🐛 待处理 156 👀 关注 137
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 19362
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，提供在线演示，核心功能免费，无付费版本。

项目预览

web-llm 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队mlc-ai
官网地址https://webllm.mlc.ai
GitHubhttps://github.com/mlc-ai/web-llm
定价模式🏷️完全免费
价格说明开源项目，提供在线演示，核心功能免费，无付费版本。
访问状态🚫 站点已失效
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型chatgpt,deep-learning,language-model,llm,tvm,webgpu,webml
GitHub 星标★ 19362
上线时间2023-04-13 00:00:00
代码更新2026-11-03
仓库体积67.9 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数8

项目介绍

web-llm 是一个高性能的浏览器端大语言模型推理引擎，基于 WebGPU 和 TVM 技术，让 LLM 无需服务器即可直接在浏览器中运行。它解决了传统 LLM 依赖云端 API 带来的隐私、延迟和成本问题，同时通过 WebGPU 硬件加速和底层优化，实现了接近原生性能的推理速度。核心能力包括：支持多种主流模型（如 Llama、Phi、Gemma 等）的加载与运行，提供流式输出、结构化生成、嵌入计算等丰富 API，并支持模型缓存、多模型切换和自定义模型适配。项目采用 TypeScript 编写，API 简洁易用，可轻松集成到前端应用中，适合构建离线优先、隐私敏感或低成本的 AI 应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 19362

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门 约 10 分钟 部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • 支持 WebGPU 的现代浏览器（如最新版 Chrome / Edge）
  • 具备 GPU 硬件加速的设备，WebLLM 依赖 WebGPU 运行
  • 如需在自己项目中集成，需 Node.js / npm 环境（README 说明其提供 npm 包）

安装与启动步骤

  1. 1检查浏览器支持

    在浏览器控制台执行该表达式，能返回 GPU 对象说明支持 WebGPU，否则 WebLLM 无法运行。

    navigator.gpu

  2. 2查看官方文档

    README 的 Installation 章节未给出具体安装步骤，请以官方文档和 examples 目录为准了解接入方式。

  3. 3获取源码与示例

    克隆仓库后查看 examples 目录，参考示例代码了解如何在前端项目中集成 WebLLM。

    git clone https://github.com/mlc-ai/web-llm.git

  4. 4在线体验验证

    打开官方 Chat 页面，直接用浏览器体验模型推理，确认当前环境可正常运行。

如何确认成功

浏览器打开 https://chat.webllm.ai/ 能正常加载模型并对话输出，即说明环境可用。

常见问题

Q：运行 WebLLM 需要服务器或 API Key 吗？

A：不需要。README 说明所有推理都在浏览器内完成，无需服务器支持，也不依赖云端 API Key。

Q：哪些浏览器可以使用？

A：需要浏览器支持 WebGPU 并具备 GPU 加速；README 未列出具体版本，建议使用最新版 Chrome 或 Edge 并在控制台执行 navigator.gpu 自测。

Q：它能兼容 OpenAI 的接口写法吗？

A：可以。README 明确说明 WebLLM 完全兼容 OpenAI API，可在本地开源模型上使用流式输出、JSON-mode、function-calling（开发中）等功能。

Q：可以在自己的网页项目里用吗？

A：可以。README 指出 WebLLM 提供 npm 包，可基于它构建自己的 Web 应用，具体安装与用法请参阅官方文档与示例。

注意事项

  • README 节选中 Installation 章节为空白，未提供安装命令，本次步骤均为可推断的通用准备动作，具体安装请以官方文档 https://webllm.mlc.ai/docs/ 为准。
  • 模型权重需首次下载并缓存在浏览器中，注意流量占用；README 提到支持模型缓存。
  • 必须运行在支持 WebGPU 的浏览器中，不支持时无法推理。
  • README 提到 WebLLM 是 MLC LLM 的配套项目，可作为 npm 包 @mlc-ai/web-llm 使用（安装命令 README 未给出）。

核心亮点

  • 基于 WebGPU 硬件加速，推理速度接近原生，远超纯 JS 方案
  • 支持多种主流开源模型（Llama、Phi、Gemma 等），且有模型缓存机制
  • API 设计简洁，支持流式输出、结构化生成，易于集成到前端项目

不足之处

  • 受限于浏览器内存和显存，无法运行超大模型（如 70B 以上）
  • 依赖 WebGPU，对浏览器版本和硬件有要求，兼容性待提升
  • 文档/社区待观察

适用场景

  • 隐私敏感的本地 AI 助手，数据不出浏览器
  • 离线可用的网页应用，如文档摘要、聊天机器人
  • 低成本 AI 演示或教育场景，免去服务器部署

替代项目

Transformers.js、ONNX Runtime Web、WasmEdge

上一篇：steedos-platform

下一篇：midjourney-proxy

同类项目推荐

KVzip 开源

长文本推理显存直降4倍，延迟减半，即插即用

[NeurIPS'25 Oral] Query-agnostic KV cache eviction: 3–4× reduction in memory and 2···

★ 228 2026-08-09
free-ai 开源

免费获取 OpenAI 兼容 API，50+ 模型免费用

FreeTheAI: free AI API and open model marketplace. One OpenAI-compatible endpoint at···

★ 39 2026-08-09
toktrack 开源

实时盯紧 Claude Code 的 token 消耗，避免账单超支

Ultra-fast token & cost tracker for LLM Token Usage (e.g. Claude Code)

★ 196 2026-08-09
zeptoclaw 开源

一个 Rust 二进制搞定本地 AI 助手，安全自治不泄露隐私

Fast, small, secure, local-first personal AI assistant infrastructure: one Rust bina···

★ 654 2026-08-09
AIStudio2API 开源

把 AI Studio 变成 OpenAI API，一行代码切换 Gemini 模型

将AI Studio Playground和Build反代成API | AI Studio to OpenAI, Anthropic & Gemini Com···

★ 783 2026-08-09
glide 开源

一个网关搞定所有AI模型，快速上线生产应用

A open blazing-fast simple model gateway for rapid development of production GenAI a···

★ 160 2026-08-09
surprisal 开源

统一接口，一键计算任意语言模型的惊异度

A unified interface for computing surprisal (log probabilities) from language models···

★ 53 2026-08-09
pymilo 开源

统一序列化 ML 模型，跨框架安全保存与加载

PyMilo: Python for ML I/O

★ 170 2026-08-09
database-build 开源

浏览器里玩转 Postgres，AI 帮你写 SQL

In-browser Postgres sandbox with AI assistance (formerly postgres.new)

★ 2950 2026-08-09