项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1691
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- 能访问 GitHub Releases 页面以下载 paddler 二进制文件
- 若选择源码构建，需安装 Rust，MSRV（最低支持版本）为 1.88.0
- 运行推理需要自托管的基础设施（README 说明支持 CPU 与 GPU，基于 ggml/llama.cpp 生态）
安装与启动步骤
-
1获取 paddler 二进制
README 提供选项一：从 GitHub Releases 页面下载最新版本发布的 paddler 二进制文件，README 未给出具体下载命令。
-
2让二进制可用
README 说明 paddler 是单文件自包含程序，只需把 paddler 二进制放到系统 PATH 中即可使用，无需其他依赖。
-
3或从源码构建
README 提供选项二：从源码构建 paddler，最低支持的 Rust 版本为 1.88.0，README 未给出具体构建命令。
-
4通过管理面板确认运行
paddler 内置 Web 管理面板，可用于管理、监控与测试；README 未提供启动命令和访问端口。
如何确认成功
README 未给出启动命令，可通过内置 Web 管理面板与可观测性指标确认服务是否正常运行，具体方式请查阅官网文档。
常见问题
Q：找不到适合我系统的预编译二进制怎么办？
A：使用 README 的选项二，从源码自行构建，注意 Rust 版本至少为 1.88.0。
Q：paddler 支持 GPU 推理吗？
A：支持。README 说明其围绕 llama.cpp/ggml 生态构建，可运行在 CPU 和 GPU 上。
Q：需要额外部署负载均衡组件吗？
A：不需要。paddler 自带 LLM 专用负载均衡，二进制自包含，组件数量少于同类项目。
Q：能否配合自动扩缩容使用？
A：可以。README 提到 agent 可动态添加，并支持请求缓冲，从而实现从零主机开始扩容。
注意事项
- README 的安装章节只给出两种获取方式（下载 release 或源码构建），未提供启动命令、端口和配置项，请以官方 Release 页面与官网文档为准。
- 从源码构建时，Rust 最低支持版本（MSRV）为 1.88.0。
- paddler 支持动态模型切换与可观测性指标，适合自托管 LLM/VLM 的大规模部署场景。
核心亮点
- 基于 Rust 实现，内存占用低，性能强劲，适合高并发场景
- 围绕 ggml 生态构建，天然支持 llama.cpp 等模型，CPU 推理优化好
- 部署极简，组件少，无需 Kubernetes 等重型编排，开箱即用
不足之处
- 项目较新，生态和文档尚在完善中，社区规模有限
- 功能聚焦负载均衡，相比 vLLM 等缺少高级推理优化（如 PagedAttention）
适用场景
- 企业内部自托管多个 LLM 模型，需要统一入口和负载分发
- 在 CPU 或混合 CPU/GPU 环境下提供轻量级模型推理服务
- 作为 Docker Model Runner 或 llm-d 的替代，简化模型服务部署
替代项目
llm-d、Docker Model Runner、vLLM
上一篇：FastFlowLM
下一篇：gpu-hot
同类项目推荐
awesome-ai-memory
开源
一张清单，看懂AI记忆方案怎么选
A list of AI memory projects（ AI长期记忆的开源和商业项目列表）
genai-factory
开源
用 Terraform 在 GCP 一键搭好安全的生成式 AI 底座
A collection of end-to-end infrastructure blueprints to deploy generative AI infrast···
x-stable-diffusion
开源
把 Stable Diffusion 推理压到 0.88 秒，实时出图不是梦。
Real-time inference for Stable Diffusion - 0.88s latency. Covers AITemplate, nvFuser···
llm-inference-solutions
开源
一张清单，搞定LLM推理选型
A collection of all available inference solutions for the LLMs
langfuse-js
开源
给 LLM 应用装上监控，追踪每次调用与成本
Langfuse JS/TS SDK
memlayer
开源
三行代码给大模型装上持久记忆，让对话更懂你
Plug-and-play memory for LLMs in 3 lines of code. Add persistent, intelligent, human···
zeptoclaw
开源
一个 Rust 二进制搞定本地 AI 助手，安全自治不泄露隐私
Fast, small, secure, local-first personal AI assistant infrastructure: one Rust bina···
endee
开源
一个节点扛住10亿条数据，检索照样快如闪电
Endee.io – A high-performance vector database, designed to handle up to 1B vectors ···
FlexPrefill
开源
长序列推理加速，稀疏注意力省算力不掉精度
Code for paper: [ICLR2025 Oral] FlexPrefill: A Context-Aware Sparse Attention Mechan···