paddock

Rust 写的推理服务器，Mac 和 N 卡都能跑开放模型

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 135

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队truespar

所属国家

官网地址

GitHubhttps://github.com/truespar/paddock

定价模式free

价格说明开源项目，定价信息待确认

访问状态

是否开源是

开源协议NOASSERTION

主要语言Rust

技术栈/模型ai,aimodels,blackwell,cuda,inference,inference-engine,inference-optimization,macos,metal,mlx,model-serving,nvidia,rust

GitHub 星标★ 135

30天Star增速

HF 下载量

上线时间2026-09-03 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-16

浏览次数0

项目介绍

paddock 是一个用 Rust 编写的原生推理服务器，面向在 NVIDIA 与 Apple Silicon 上运行开放模型。它要解决的问题是：现有推理服务往往绑定单一硬件或格式，部署多模型时需要在不同工具链间切换。paddock 同时支持 GGUF、safetensors 和 MLX 三种模型格式，并提供 FP8、NVFP4、MXFP4、Q8、Q4 等多种量化精度，让用户按显存和速度需求灵活选择。它对外暴露 OpenAI 与 Anthropic 兼容的 API，因此现有基于这两套接口的应用几乎无需改代码即可迁移。项目内置 Studio 管理界面，方便加载、切换和调试模型。底层用 Rust 实现，强调性能与低开销，并针对 Blackwell 架构和 Metal 做了适配。适合自建推理服务、做模型对比测试，或在 Mac 与 N 卡机器上统一部署开放模型的团队。