项目预览
项目数据
分类基础设施
开发团队noumena-labs
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型ai,cpp,gguf,inference,llamacpp,llm,local-ai,rust,transfomersjs,wasm,webgpu,webllm
GitHub 星标★ 121
30天Star增速
HF 下载量
上线时间2026-03-25 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-16
浏览次数0
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
正在加载星标数据…
技术标签
使用教程
—
核心亮点
- 零依赖 WebGPU 运行时,浏览器内直接加载 GGUF 模型,无需后端服务
- 对称 API 设计,本地推理与云端路由共用一套接口,切换成本低
- Rust + C++ 混合实现,兼顾性能与 llama.cpp 生态兼容性
不足之处
- 项目处于早期,文档和示例可能不完善
- WebGPU 浏览器兼容性仍有限,生产环境需谨慎评估
适用场景
- 在网页端集成 AI 对话助手,模型完全跑在用户浏览器里
- 开发本地优先的 AI 工具,离线也能推理,联网时自动路由到云端
- 快速验证 GGUF 模型在 WebGPU 上的推理性能与效果
替代项目
web-llm、transformers.js
同类项目推荐
freebuff-proxy
开源
聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。
DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···
microduck
开源
用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。
A Tiny biped duck robot
ollama
开源
一条命令本地跑起大模型,免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
soperator
开源
用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。
Run Slurm in Kubernetes
