shimmy

单文件跑本地大模型，接口兼容 OpenAI

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 589 🐛 待处理 9 👀 关注 41

GitHub ↗

GitHub 星标 ★ 6014

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，无付费计划

项目预览

项目数据

分类基础设施

开发团队Michael-A-Kuykendall

GitHubhttps://github.com/Michael-A-Kuykendall/shimmy

定价模式🏷️完全免费

价格说明开源免费，无付费计划

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Rust

技术栈/模型api-server,command-line-tool,developer-tools,gguf,huggingface,huggingface-models,huggingface-transformers,inference-server,llama,llamacpp,llm-inference,local-ai,machine-learning,ollama-api,openai-compatible,rust,rust-crate,transformers,webgpu,webgpu-shaders

GitHub 星标★ 6014

上线时间2025-08-28 00:00:00

代码更新2026-11-11

仓库体积738.3 MB

本站数据更新2026-11-13

维护状态活跃

收录时间2026-11-13

浏览次数0

项目介绍

shimmy 是一个用纯 Rust 编写的 WebGPU 推理引擎，目标是让本地大模型推理摆脱 Python 运行时和 llama.cpp 依赖。它以单个二进制文件分发，原生读取 GGUF 格式模型，可直接加载 Hugging Face 上的权重，并通过 WebGPU 在各类 GPU 上执行推理。项目内置与 OpenAI API 兼容的服务端，开发者可以把现有基于 OpenAI 接口的应用指向本地端点，无需改代码即可切换为自托管推理。核心能力包括：GGUF 原生解析与量化模型加载、WebGPU 跨厂商 GPU 加速、命令行工具快速启动、兼容 OpenAI Chat Completions 的 HTTP 接口。相比传统方案，它省去了 Python 环境、CUDA 工具链和复杂编译流程，部署更轻量，适合对启动速度、分发体积和跨平台一致性有要求的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 6014

技术标签

command-line-tool developer-tools gguf huggingface huggingface-transformers

使用教程

难度：进阶约 15 分钟部署方式：本地安装 6 步

环境要求

可用的 Rust 工具链（cargo 可用）
支持 WebGPU 的 GPU 及正常工作的显卡驱动
一个 GGUF 格式的模型文件（README 示例为已验证的测试模型文件）
如需二进制、Homebrew、Scoop 或容器方式，另见 docs/BINARY_INSTALL.md 与 README-DOCKER.md

安装与启动步骤

1准备运行环境

先确认已装好 Rust 工具链和 GPU 驱动；README 未给出具体安装命令，请按各自官方文档准备。
2安装 2.6.6 版本

用 cargo 安装指定版本并锁定依赖，这才是 README 所说的已发布基线。
```
cargo install shimmy --version 2.6.6 --locked
```
3核对安装版本

安装后先查版本，确认真的是 2.6.6，而不是未发布的 2.6.7 候选版。
```
shimmy --version
```
4准备 GGUF 模型

准备一个可用的 GGUF 模型文件，并把它放在自己能读取的路径下，替换示例路径。
5启动本地服务

指定上下文长度、KV 量化类型、模型路径和监听地址，启动 OpenAI 兼容推理服务。
```
shimmy --ctx 512 --kv-quant f32 serve --model-path /path/to/model.gguf --bind 127.0.0.1:11435
```
6查看其他安装渠道

二进制包、Homebrew、Scoop 和 GHCR 镜像的安装步骤在单独文档里，README 未列出具体命令。

关键配置

配置项	必填	说明	示例
`--model-path`	是	指定要加载的 GGUF 模型文件路径	`/path/to/model.gguf`
`--bind`	否	服务监听地址与端口，默认示例为仅本机可访问	`127.0.0.1:11435`
`--ctx`	否	上下文长度，示例设置为 512	`512`
`--kv-quant`	否	KV 缓存量化类型，示例使用 f32	`f32`
`--version`	否	安装时锁定版本，避免拉取到其他版本	`2.6.6`

如何确认成功

执行 shimmy --version 显示 2.6.6；启动日志显示服务监听在 127.0.0.1:11435，可向该端点发送 OpenAI 兼容请求测试。

常见问题

Q：可以直接装 2.6.7 吗？

A：不能。README 说明 2.6.7 只是未发布候选版，没有 crate、二进制、镜像或包管理器更新；按文档命令装到的是 2.6.6 基线。

Q：还需要 Python 或 llama.cpp 吗？

A：不需要。它是单个二进制，原生解析 GGUF，通过 WebGPU 执行推理，不依赖 Python 运行时和 llama.cpp。

Q：fast profile 能用来推理吗？

A：不能。README 明确说明 fast profile 不提供推理能力，推理需要正常加载模型并启动服务端。

Q：Windows 或 macOS 有免编译安装包吗？

A：有。README 指向 docs/BINARY_INSTALL.md，其中包含 Windows 可执行文件以及 Homebrew、Scoop 安装方式，具体命令以该文档为准。

Q：端口能否让其他机器访问？

A：示例绑定 127.0.0.1:11435，只监听本机；如需变更监听地址，自行修改 --bind 参数，README 未给出更多网络配置说明。

注意事项

安装时务必同时带上 --version 2.6.6 与 --locked，确保得到已发布基线。
README 说明 Docker 的 latest 标签未变更，且不提供 npm 包，不要假设其他渠道同步更新。
中文文档仅为译稿，英文 README 是权威技术说明，出现差异以英文为准。
模型清单、哈希校验与请求示例见 docs/quickstart.md。

核心亮点

纯 Rust 实现，单二进制分发，无需 Python 环境和 CUDA 工具链
原生支持 GGUF 量化模型，可直接拉取 Hugging Face 权重
提供 OpenAI API 兼容接口，现有应用改个 base_url 即可接入

不足之处

WebGPU 后端在部分老显卡和驱动上兼容性仍不稳定
生态和算子覆盖不如 llama.cpp 成熟，冷门模型架构可能不支持
项目处于成长阶段，文档和社区案例相对有限

适用场景

本地开发机上快速起一个兼容 OpenAI 的推理服务做联调
桌面应用内嵌单二进制推理引擎，避免打包 Python 依赖
在无 CUDA 环境的异构 GPU 设备上部署轻量模型服务

替代项目

llama.cpp、Ollama、candle

上一篇：agent-skills

下一篇：PS5LM-Plus