gemma.cpp

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 可编译 C++ 项目的本地开发环境（README 节选未给出具体构建命令）
• 从 Kaggle 下载的 Gemma 压缩权重文件（如 gemma2-2b-it-sfp.sbs）
• 配套的 tokenizer.spm 文件（2025-05-06 之后生成的单格式权重文件可省略）
• 不需要 Python 运行时或重型深度学习框架

安装与启动步骤

1. 1下载模型权重

   从 Kaggle 的 Gemma 模型页面下载 gemma.cpp 专用权重文件与分词器文件，记住保存路径。

2. 2编译生成可执行文件

   按 README Quick Start 的编译步骤在项目内构建，产物为 build 目录下的 gemma 可执行程序。

3. 3进入 build 目录

   运行程序前先切换到 build 目录，权重和分词器文件也可放在此处以便使用相对路径。

   cd build

   复制

4. 4带参数启动推理

   必需参数为 --weights 与 --tokenizer；指定权重与分词器文件后启动交互式终端界面。

   ./gemma --tokenizer tokenizer.spm --weights gemma2-2b-it-sfp.sbs

   复制

5. 5按回车触发生成

   所有用法模式都是交互式的，输入文本后按换行才会开始生成回复内容。

6. 6设为命令行工具

   用 alias 固化参数并配合 --verbosity 0，只输出生成结果，适合作为 CLI 工具调用。

   alias gemma2b="~/gemma.cpp/build/gemma --tokenizer ~/gemma.cpp/build/tokenizer.spm --weights ~/gemma.cpp/build/gemma2-2b-it-sfp.sbs --verbosity 0"

   复制

7. 7管道输入示例

   可把文件内容截断后通过管道作为提示词传入，注意上下文长度限制。

   cat configs.h | tail -n 35 | tr '\n' ' ' | xargs -0 echo "What does this C++ code do: " | gemma2b

   复制

关键配置

如何确认成功

在 build 目录执行 ./gemma 并输入一段文本回车，终端能输出生成的回答即表示启动成功。

常见问题

注意事项

• README 节选未包含完整编译步骤，构建命令请以项目 Quick Start 中 Step 1–3 的实际内容为准，不要凭猜测执行。
• 命令行工具用法目前属于实验性质，需自行考虑上下文长度限制。
• 权重文件需从 Kaggle 获取，下载与登录流程请遵循模型页面的官方说明。