Sipp

浏览器里直接跑 GGUF 大模型,零依赖 WebGPU 加速

开源 unknown 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 121
维护状态 活跃
是否开源 是
定价模式 unknown

项目预览

项目数据

分类基础设施
开发团队noumena-labs
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型ai,cpp,gguf,inference,llamacpp,llm,local-ai,rust,transfomersjs,wasm,webgpu,webllm
GitHub 星标★ 121
30天Star增速
HF 下载量
上线时间2026-03-25 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-16
浏览次数0

项目介绍

Sipp 是一个基于 Rust 和 C++ 构建的 WebGPU 推理运行时,目标是在浏览器中直接运行 GGUF 格式的大语言模型。它解决了传统本地推理需要安装复杂依赖或依赖云端 API 的问题,让开发者无需后端即可在网页里执行 AI 推理。核心能力包括:零依赖的 WebGPU 加速、对 GGUF 模型的原生支持、以及一套对称 API,既能本地执行,也能无缝路由到云端推理服务。项目使用 Rust 编写,兼顾性能与内存安全,同时借助 C++ 生态兼容 llama.cpp 等现有工具链。对于想快速在 Web 端集成 AI 能力、又不想被云服务绑定的开发者,Sipp 提供了一种轻量、可移植的替代方案。目前项目处于早期阶段,星标约 121,适合关注 WebGPU 与浏览器端推理的技术团队评估和试用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 零依赖 WebGPU 运行时,浏览器内直接加载 GGUF 模型,无需后端服务
  • 对称 API 设计,本地推理与云端路由共用一套接口,切换成本低
  • Rust + C++ 混合实现,兼顾性能与 llama.cpp 生态兼容性

不足之处

  • 项目处于早期,文档和示例可能不完善
  • WebGPU 浏览器兼容性仍有限,生产环境需谨慎评估

适用场景

  • 在网页端集成 AI 对话助手,模型完全跑在用户浏览器里
  • 开发本地优先的 AI 工具,离线也能推理,联网时自动路由到云端
  • 快速验证 GGUF 模型在 WebGPU 上的推理性能与效果

替代项目

web-llm、transformers.js

上一篇:paddock

下一篇:moe-l2

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 9427 2026-09-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183283 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 444 2026-08-10