web-llm-assistant

浏览器里直接跑大模型,聊天数据不出本地

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 21 🐛 待处理 4 👀 关注 9
GitHub ↗
GitHub 星标 ★ 86
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自行部署,完全免费。

项目预览

web-llm-assistant 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队mlc-ai
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自行部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型agent,chrome-extension,foundation-models,large-language-models,machine-learning
GitHub 星标★ 86
上线时间2023-11-29 00:00:00
代码更新2024-12-03
仓库体积95.4 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数10

项目介绍

web-llm-assistant 是一个完全运行在浏览器端的人工智能助手项目,基于 TypeScript 开发。它利用 WebLLM 技术将大语言模型直接部署在浏览器中,无需服务器端推理,从而解决传统 AI 助手依赖云端 API、存在隐私泄露风险和网络延迟的问题。核心能力包括:在浏览器内本地运行大语言模型,支持多种模型(如 Llama、Phi 等)的加载与切换;提供流式输出、对话管理、上下文记忆等基础聊天功能;通过 Web Worker 和 WebGPU 加速推理,提升性能。项目旨在打造一个轻量、隐私安全、离线可用的 AI 助手,适合对数据隐私敏感或需要离线使用的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 86

核心亮点

  • 完全本地推理,隐私零泄露,无需上传对话数据
  • 利用 WebGPU 加速,模型加载和推理速度在浏览器中表现良好
  • 支持多种主流开源模型,可灵活切换,适配不同需求

不足之处

  • 受限于浏览器内存和算力,模型规模有限,复杂任务能力弱
  • 文档和社区生态尚不完善,上手和排错有一定门槛

适用场景

  • 隐私敏感场景,如医疗、金融等行业的本地化问答
  • 离线环境或弱网环境下的智能助手需求
  • 前端开发者和 AI 爱好者进行模型推理实验和教学

替代项目

WebLLM、Transformers.js、llama.cpp (WebAssembly 版本)

上一篇:llm_telegram_bot

下一篇:FoundationChat

同类项目推荐

raycast-g4f 开源

在 Raycast 里免费调用 GPT/Claude/Llama,一步直达 AI 对话

Raycast extension to use GPT, Claude, Llama, and more... all for FREE! + Full suppor···

★ 1088 2026-08-09
chatbot 开源

用Transformer快速搭建单轮对话机器人

Transformer模型训练的单轮对话聊天机器人

★ 89 2026-08-09
buildship-chat-widget 开源

几行代码接入 AI 聊天,自由对接数据库和工具

AI Chat Widget - flexible and lite chat widget that can connect to OpenAI Assistant,···

★ 71 2026-08-09
urban-bot 开源

用 React 写一次,机器人跑遍所有聊天平台

The universal chatbot library based on React. Write once, launch Telegram, Discord, ···

★ 569 2026-08-09
koishi-desktop 开源

把 Koishi 聊天机器人变成桌面应用,双击即用

Launch Koishi from your desktop

★ 128 2026-08-09
GPT-Shell 开源

在 Discord 里直接聊 AI、生成图片,一步到位

Open-source Discord AI companion with ChatGPT-style conversations and image generati···

★ 150 2026-08-09
whatsapp-agentkit 开源

访谈式生成代码,30 分钟搭出 WhatsApp AI 客服

Construye tu agente de WhatsApp con IA en menos de 30 minutos. Claude Code te entrev···

★ 554 2026-10-31
claude-autonomous-deployment 开源

把 Claude 长上下文能力搬进自己项目,代码写作一把抓

Claude 2026: The Developer’s Smartest AI for Long-Context Code & Writing

★ 115 2026-10-09
integrations 开源

一套代码,接入所有主流聊天渠道

Connect your App to Multiple Messaging Channels with the W3C Open standard.

★ 741 2026-08-09