pooled

多台设备浏览器组队，本地跑大模型聊天写代码

pooled 是一个在浏览器中实现点对点大模型推理的开源项目。它把多台设备（笔记本、台式机、手机等）通过 WebRTC 连接成一个分布式推理集群，利用 WebGPU 和 WGSL 在本地执行模型计算，从而让普通用户无需高端显卡也能运行大参数量的开源模型。项目核心解决两个问题：一是单机显存/算力不足，二是云端推理的隐私与成本。它采用投机解码等优化手段提升吞吐，并面向聊天和编码代理场景设计。用户只需打开浏览器页面，即可将闲置设备组成推理池，模型权重和计算尽量留在本地，减少对中心化服务器的依赖。项目以 JavaScript 为主，强调零安装、跨平台，适合想体验本地大模型但硬件有限的开发者与爱好者。