项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-12 · 当前星标 ★ 150
核心亮点
- 一个 TUI 聚合内存、分页、GPU、tokens/s 四类指标，不用在多个工具间切换
- 同时覆盖 oMLX、Ollama、llama.cpp、vLLM 等主流本地推理后端，适配面广
- Rust 编写，单二进制部署，资源开销小，适合常驻监控
不足之处
- 项目处于早期，星标约 150，功能稳定性和长期维护待观察
- 终端 TUI 形态对不熟悉命令行的用户有一定上手门槛
- 文档与社区生态尚在建设，遇到问题可参考的资料有限
适用场景
- 在 Mac 上用 Ollama 或 MLX 跑模型时，实时观察内存和分页是否吃紧
- 调优 llama.cpp 或 vLLM 参数时，对比不同配置下的 tokens/s 吞吐
- 本地多模型并行运行时，排查 GPU 占用和资源争抢情况
替代项目
nvtop、btop、gpustat
下一篇：PAI
同类项目推荐
opentraces
开源
给 AI Agent 装上黑匣子，完整记录每一步操作，调试审计不再抓瞎。
A local-first evidence layer for agent work, capturing what the agent sees, does, an···
vllm-torchtpu
开源
让 vLLM 推理引擎跑在 TPU 上的后端适配层
vpod
开源
给 AI 代码执行加个安全壳，防跑飞防破坏
Lightweight, secure Linux sandboxes for untrusted processes. Runs in the browser and···
olleh
开源
用 Ollama 的姿势，跑 Apple 的模型
An Ollama-compatible CLI for Apple's Foundation Models
memory-opensource
开源
让AI记住关键信息，毫秒级精准召回
Predictive memory layer for AI agents. MongoDB + Qdrant + Neo4j with multi-tier cach···
seldon-core
开源
K8s 上大规模部署、监控和管理生产级 ML 模型
An MLOps framework to package, deploy, monitor and manage thousands of production ma···
get-beam
开源
让 GPU 任务像调用 API 一样，按需弹性伸缩，省心省钱。
Run GPU inference and training jobs on serverless infrastructure that scales with yo···
keras-sd-serving
开源
把 Keras 版 Stable Diffusion 快速部署成服务
showing various ways to serve Keras based stable diffusion
RSD
开源
用奖励模型引导投机解码，又快又好地生成文本。
[ICML 2025] Reward-guided Speculative Decoding (RSD) for efficiency and effectivenes···