项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 415
使用教程
环境要求
- macOS 或 Rust 工具链
- 本地模型文件
安装与启动步骤
-
1装命令行
macOS 用包管理器，其它平台可源码装。
brew install llmserve -
2扫一遍本地模型
它会找出散落各处的模型文件。
-
3起一个本地接口
把模型暴露成兼容接口，供其它工具调用。
-
4切换模型对比
同一提示换不同量化版本，看质量差异。
如何确认成功
散落在不同目录的两个模型都能被识别并起服务，调用返回的结果与直接加载一致
注意事项
- 它解决的是本地模型文件散落各处、难以统一调度的问题。
- 只做服务与发现，不做模型下载。
- 不同量化位数的模型质量差异明显，别只看体积。
- 本地服务绑在本机地址，别开公网。
- 苹果芯片与其它平台的推理后端不同，性能差异大。
核心亮点
- 用 TUI 交互替代手写命令行参数，选模型和选后端两步完成，降低本地起服务的门槛
- Rust 实现，单二进制分发，启动快、资源占用低，不依赖 Python 运行时
- 支持多后端切换，同一套界面可对接不同推理引擎，便于横向对比模型表现
不足之处
- 项目早期，功能覆盖和后端适配数量有限，复杂配置项可能仍需手动改文件
- 文档和社区生态较薄，遇到问题可参考的案例少，长期维护情况待观察
适用场景
- 本地快速验证新下载的 GGUF 模型能否正常推理
- 在终端环境里临时起一个本地 LLM API 供脚本或应用调用
- 对比同一模型在不同后端下的启动速度和输出效果
替代项目
ollama、llama.cpp、LocalAI
同类项目推荐
JetStream
开源
在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存
JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···
llm-scaler
开源
让大模型推理更快更省显存，本地部署也能跑得动
deepreasoning
开源
让 Claude 思考过程可见，结合 DeepSeek R1 推理链，提升 AI 决策透明度。
A high-performance LLM inference API and Chat UI that integrates DeepSeek R1's CoT r···
llama_deploy
开源
把 LlamaIndex 智能体工作流一键部署成生产级微服务
Deploy your agentic worfklows to production
llmops
开源
用 TypeScript 快速搭建可插拔的 LLM 应用运维工具链
A pluggable LLMOps toolkit for TypeScript applications.
x-stable-diffusion
开源
把 Stable Diffusion 推理压到 0.88 秒，实时出图不是梦。
Real-time inference for Stable Diffusion - 0.88s latency. Covers AITemplate, nvFuser···
nano-vllm-prefillonly
开源
砍掉解码只留 prefill，判别式大模型推理更快更省
A specialized optimization of nano-vllm for prefill-only inference tasks, designed f···
opencode-llm-proxy
开源
本地一个代理，统一接入 OpenAI、Anthropic、Gemini 等大模型
Local OpenCode-backed LLM gateway for OpenAI, Anthropic, Gemini, and Responses API-c···
asmjit
开源
运行时直接生成原生机器码，低延迟 JIT 的底层引擎
Low-latency machine code generation