ggml

轻量级 C++ 张量库，让大模型在本地设备流畅跑起来

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 1924 🐛 待处理 383 👀 关注 150

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 15602

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源库，MIT许可证，完全免费，无付费版本。

项目预览

项目数据

分类开源模型

开发团队ggml-org

官网地址https://github.com/ggml-org

GitHubhttps://github.com/ggml-org/ggml

定价模式🏷️完全免费

价格说明开源库，MIT许可证，完全免费，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C++

技术栈/模型machine-learning

GitHub 星标★ 15602

上线时间2022-09-18 00:00:00

代码更新2026-11-08

仓库体积32.2 MB

本站数据更新2026-11-10

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

ggml 是一个用 C++ 编写的机器学习张量库，专为高效推理和边缘设备优化而设计。它解决了传统深度学习框架（如 PyTorch、TensorFlow）在资源受限环境（如手机、嵌入式设备）中部署模型时体积大、依赖重、推理慢的问题。核心能力包括：支持多种量化格式（如 4-bit、5-bit、8-bit），大幅压缩模型体积并提升推理速度；提供自动微分和计算图优化，便于模型微调；内置多种硬件加速后端（如 CPU、GPU、Metal），并支持跨平台编译（Windows、Linux、macOS、iOS、Android）。ggml 被广泛用于 llama.cpp、whisper.cpp 等知名项目，成为本地运行大型语言模型和语音识别模型的基础设施。其设计强调零依赖、易集成，开发者可直接嵌入 C/C++ 项目，无需复杂环境配置。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 15602

技术标签

machine-learning

使用教程

难度：进阶约 10 分钟部署方式：库/依赖 6 步

环境要求

已安装 Git，可用 git clone 拉取仓库
已安装 CMake（README 要求用 cmake 配置和构建）
已安装 C/C++ 编译器（gcc / clang / MSVC）
建议多核 CPU，示例使用 -j 8 并行编译

安装与启动步骤

1克隆仓库

从 GitHub 拉取 ggml 源码到本地，命令来自 README 的 Build from source。
```
git clone https://github.com/ggml-org/ggml
```
2进入项目目录

切换到刚克隆下来的 ggml 目录，后续构建都在此目录内进行。
```
cd ggml
```
3创建构建目录

按 README 做法新建 build 目录并进入，保持源码目录干净，便于后续清理重建。
```
mkdir build && cd build
```
4生成构建文件

在 build 目录中运行 cmake ..，读取上层目录的 CMake 配置生成编译文件。
```
cmake ..
```
5编译项目

以 Release 配置并行编译，-j 8 表示 8 个并行任务，可按机器核数调整。
```
cmake --build . --config Release -j 8
```
6查看最小示例

README 指向 examples/simple，这是一个带完整注释的矩阵乘法示例，可阅读源码了解用法。

如何确认成功

cmake --build 命令无报错并正常结束，build 目录下生成对应构建产物即编译成功。

常见问题

Q：执行 cmake 提示找不到命令怎么办？

A：说明未安装 CMake 或未加入 PATH，请先安装 CMake 并确保终端能调用 cmake，再重新执行 cmake .. 与构建命令。

Q：编译报错提示找不到编译器怎么办？

A：需要先安装 C/C++ 编译器（如 gcc/clang/MSVC），并保证编译器在系统 PATH 中，然后清空 build 目录重新执行 cmake ..。

Q：想启用 GPU 等硬件后端如何操作？

A：README 只给出默认源码编译流程，未列出具体后端开关参数，请查阅 docs/gguf.md 及 README 中给出的 ggml 文档与 tips 链接。

Q：如何在代码中使用 ggml？

A：README 提供了 examples/simple 这一带注释的矩阵乘法示例，可作为最小接入参考，其他文档见 docs/gguf.md 与介绍文章。

注意事项

README 只提供从源码构建的方式，没有给出预编译包安装命令。
README 未说明编译器与 CMake 的最低版本要求，需自行准备可用的构建环境。
如需修改 ggml 核心库或 CMake 构建系统，README 建议改到 llama.cpp 仓库提 PR，可见度与测试更充分。
更多资料见 docs/gguf.md、Hugging Face 的 Introduction to ggml 以及 llama.cpp wiki 的 GGML Tips & Tricks。