gguf-parser-go

解析 GGUF 文件，算清显存占用和推理速度

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 306

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队gpustack

所属国家

官网地址https://pkg.go.dev/github.com/gpustack/gguf-parser-go

GitHubhttps://github.com/gpustack/gguf-parser-go

定价模式free

价格说明开源免费，Go库需自行部署

访问状态

是否开源是

开源协议MIT

主要语言Go

技术栈/模型gguf,go,llama-box,llama-cpp,stable-diffusion-cpp

GitHub 星标★ 306

30天Star增速

HF 下载量

上线时间2024-05-28 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-16

浏览次数0

项目介绍

gguf-parser-go 是一个用 Go 编写的 GGUF 文件解析与审查工具，主要面向本地大模型和扩散模型的部署场景。GGUF 是 llama.cpp 生态通用的模型文件格式，但普通用户拿到一个 GGUF 文件后，往往不清楚它需要多少显存、能否在自己的机器上跑起来、推理速度大概如何。这个项目通过解析 GGUF 元数据（层数、量化类型、上下文长度、张量尺寸等），估算模型加载所需的内存占用，并给出每秒最大 token 数的预测，帮助用户在下载或部署前做出判断。它同时支持 llama-box、llama.cpp、stable-diffusion.cpp 等后端，可作为命令行工具独立使用，也能作为 Go 库集成到其他项目中，适合做模型管理面板、推理服务调度或本地部署前的可行性检查。