项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 183
核心亮点
- 精准估算 LLM 推理/训练显存，避免资源浪费
- 支持自定义模型参数，灵活适配多种架构
- 纯 Python 实现，易于集成到现有运维脚本
不足之处
- 文档/社区待观察
- 仅支持估算，不提供实际部署优化建议
适用场景
- 本地部署 LLM 前评估 GPU 选型
- 云服务器资源规划与成本预算
- 教学演示中展示模型规模与硬件关系
替代项目
llm-calculator、GPU-poor、Hugging Face Model Memory Calculator
上一篇：awesome-llmops
下一篇：qwen.cpp
同类项目推荐
llmio
开源
统一管理多个大模型，自动负载均衡，省心省钱
Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一···
vllm-plugin-FL
开源
让 vLLM 一套代码跑多种国产芯片
A vLLM plugin built on the FlagOS unified multi-chip backend.
metaflow
开源
Netflix 同款流水线玩法，从实验到上线一路顺畅
Build, Manage and Deploy AI/ML Systems
krasis
开源
显存不够也能跑大模型，混合推理榨干硬件性能
Krasis is a Hybrid LLM runtime which focuses on efficient running of larger models o···
gemma.cpp
开源
纯 C++ 本地跑 Gemma，无需 Python 依赖
lightweight, standalone C++ inference engine for Google's Gemma models.
arcbox
开源
让 AI 智能体在 100ms 内跑进隔离虚拟机，安全又高效
Run AI agents on real and isolated machines — own kernel, filesystem, and network —···
oomstore
开源
用 Go/Rust 打造的高速特征仓库，让特征上线快如闪电
Lightweight and Fast Feature Store Powered by Go (and Rust).
llama3.java
开源
纯 Java 跑 Llama 3，不装 Python 也能本地推理
Llama 3+ inference in pure Java
respan-gateway
开源
一个端点接入所有大模型，单二进制即开即用
Open-source LLM gateway in Rust. One endpoint for OpenAI, Anthropic, Gemini and ever···