web-llm-assistant

浏览器里直接跑大模型，聊天数据不出本地

web-llm-assistant 是一个完全运行在浏览器端的人工智能助手项目，基于 TypeScript 开发。它利用 WebLLM 技术将大语言模型直接部署在浏览器中，无需服务器端推理，从而解决传统 AI 助手依赖云端 API、存在隐私泄露风险和网络延迟的问题。核心能力包括：在浏览器内本地运行大语言模型，支持多种模型（如 Llama、Phi 等）的加载与切换；提供流式输出、对话管理、上下文记忆等基础聊天功能；通过 Web Worker 和 WebGPU 加速推理，提升性能。项目旨在打造一个轻量、隐私安全、离线可用的 AI 助手，适合对数据隐私敏感或需要离线使用的场景。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 85
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队mlc-ai
所属国家
官网地址
GitHubhttps://github.com/mlc-ai/web-llm-assistant
定价模式free
价格说明开源项目，Apache-2.0许可证，可自行部署，完全免费。
访问状态
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型agent,chrome-extension,foundation-models,large-language-models,machine-learning
GitHub 星标★ 85
30天Star增速
HF 下载量
上线时间2023-11-29 00:00:00
最近更新2026-08-07 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数9

使用教程

核心亮点

  • 完全本地推理，隐私零泄露，无需上传对话数据
  • 利用 WebGPU 加速，模型加载和推理速度在浏览器中表现良好
  • 支持多种主流开源模型，可灵活切换，适配不同需求

不足之处

  • 受限于浏览器内存和算力，模型规模有限，复杂任务能力弱
  • 文档和社区生态尚不完善，上手和排错有一定门槛

适用场景

  • 隐私敏感场景，如医疗、金融等行业的本地化问答
  • 离线环境或弱网环境下的智能助手需求
  • 前端开发者和 AI 爱好者进行模型推理实验和教学

替代项目

WebLLM、Transformers.js、llama.cpp (WebAssembly 版本)

项目介绍

web-llm-assistant 是对话助手领域的开源项目，由 mlc-ai 开发，2023 年首次发布。

它收录于对话助手分类，该分类目前共有 907 个项目，GitHub 星标数为 85。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-07。Apache-2.0许可证，可自行部署，完全免费。

它主要面向的使用场景是：隐私敏感场景，如医疗、金融等行业的本地化问答。同类可对比的替代方案包括 WebLLM、Transformers.js、llama.cpp (WebAssembly 版本)。

上一篇：llm_telegram_bot

下一篇：FoundationChat

同类项目推荐

open-webui 开源

给本地模型配个漂亮聊天室，全家都能用

User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

★ 152821 2026-08-09
prompts.chat 开源

海量好提示词，抄了就能让 AI 更听话

f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the commun···

★ 170999 2026-08-09
elia 开源

终端里用键盘快速聊 AI，多模型切换不打断思路

A snappy, keyboard-centric terminal user interface for interacting with large langua···

★ 2479 2026-08-09
NextChat 开源

一个界面聊遍所有主流AI模型，支持全平台部署，轻快又私密。

✨ Zero-config AI chat assistant. No API key needed — sign up and instantly chat wi···

★ 88802 2026-08-09