llmserve
终端里选模型选后端，一键把本地 LLM 跑起来
llmserve 是一个用 Rust 编写的终端 TUI 工具，用于在本地启动和托管大语言模型服务。它把「选模型、选后端、起服务」三步压缩成一个交互式界面，用户无需记忆各推理框架的命令行参数，也无需手动拼接启动脚本。核心能力包括：扫描本地模型文件（如 GGUF 等常见格式），列出可用后端（如 llama.cpp、Ollama 等），在终端里用方向键选择后直接拉起服务并显示运行状态。它解决的是本地部署 LLM 时配置繁琐、后端切换成本高的问题，适合开发者快速验证模型、做本地推理实验或搭建轻量 API 服务。项目处于早期阶段，星标约 400，代码量小、依赖轻，定位是「本地模型启动器」而非完整推理平台。
开源
free
基础设施
GitHub 星标
★ 400
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队AlexsJones
所属国家
定价模式free
价格说明开源免费，需自行部署
访问状态
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型
GitHub 星标★ 400
30天Star增速
HF 下载量
上线时间2026-03-22 00:00:00
最近更新2026-09-17 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数1
使用教程
核心亮点
- 用 TUI 交互替代手写命令行参数，选模型和选后端两步完成，降低本地起服务的门槛
- Rust 实现，单二进制分发，启动快、资源占用低，不依赖 Python 运行时
- 支持多后端切换，同一套界面可对接不同推理引擎，便于横向对比模型表现
不足之处
- 项目早期，功能覆盖和后端适配数量有限，复杂配置项可能仍需手动改文件
- 文档和社区生态较薄，遇到问题可参考的案例少，长期维护情况待观察
适用场景
- 本地快速验证新下载的 GGUF 模型能否正常推理
- 在终端环境里临时起一个本地 LLM API 供脚本或应用调用
- 对比同一模型在不同后端下的启动速度和输出效果
替代项目
ollama、llama.cpp、LocalAI
项目介绍
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···