llama.go

纯 Go 跑 LLaMA，不碰 C++ 也能本地推理

llama.go 是一个用纯 Go 语言实现的 LLaMA 模型推理库，目标是为 Go 开发者提供类似 llama.cpp 的本地大模型运行能力。它解决了 Go 生态中缺乏高性能本地推理方案的问题，让开发者无需依赖 C++ 或 Python 环境，即可在 Go 服务中直接加载并运行 LLaMA 系列模型。核心能力包括模型加载、分词、前向推理、采样生成等完整推理链路，支持 CPU 推理，并针对 Go 的并发特性做了优化。项目目前处于成长阶段，功能覆盖基础推理场景，适合对部署链路有统一语言要求的团队。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1404

维护状态低维护

是否开源是

定价模式 free

项目预览

项目数据

分类开源模型

开发团队gotzmann

所属国家

官网地址

GitHubhttps://github.com/gotzmann/llama.go

定价模式free

价格说明开源项目，基于纯Go实现，类似llama.cpp，可自行部署使用，完全免费。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Go

技术栈/模型alpaca,chatgpt,dalai,gpt,gpt3,gpt4,gpt4all,llama,llama-cpp,llm,vicuna

GitHub 星标★ 1404

30天Star增速

HF 下载量

上线时间2023-03-19 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 15 分钟部署方式：命令行工具 3 步

环境要求

运行 LLaMA-7B 的 FP32 权重至少需要 32GB 内存（RAM，非显存）
运行 LLaMA-13B 需翻倍到 64GB 内存
操作系统为 macOS、Linux 或 Windows（README 提供三者预编译二进制）
需自备 LLaMA 模型权重：自行获取并转换原始模型，或下载 README 提供的现成 fp32 权重

安装与启动步骤

1下载模型权重

从 README 给出的链接下载现成权重：LLaMA-7B 用 llama-7b-fp32.bin，LLaMA-13B 用 llama-13b-fp32.bin，保存到本地目录如 ~/models。
2下载可执行文件

在仓库 builds 目录按系统下载预编译二进制：Windows 用 llama-go-v1.4.0.exe，macOS 用 llama-go-v1.4.0-macos，Linux 用 llama-go-v1.4.0-linux。
3运行推理

把模型路径和提示词传给二进制即可启动推理，README 给出的是 macOS 示例，其他平台把文件名换成对应二进制。
```
llama-go-v1.4.0-macos 
    --model ~/models/llama-7b-fp32.bin 
    --prompt "Why Golang is so popular?"
```

关键配置

配置项	必填	说明	示例
`--model`	是	指定 LLaMA FP32 权重文件的本机路径	`~/models/llama-7b-fp32.bin`
`--prompt`	是	输入的提示词文本，模型据此生成回答	`"Why Golang is so popular?"`

如何确认成功

终端无报错并打印出针对 --prompt 提示词生成的文本回答，即表示推理成功。

常见问题

Q：内存不够怎么办？

A：FP32 权重很占内存：7B 至少要 32GB RAM，13B 要 64GB。内存不足时改用更小的模型，或先扩容内存再跑。

Q：需要自己转换模型吗？

A：不一定。你可以自行获取并转换原始 LLaMA 模型，也可以直接下载 README 中提供的 llama-7b-fp32.bin / llama-13b-fp32.bin 现成权重。

Q：能用 GPU 加速吗？

A：README 只强调需要的是 RAM（明确说明不是 VRAM 或显存），未提供 GPU 相关说明，按 CPU 推理使用即可。

Q：怎么自己从源码构建？

A：README 提到可“从源码构建（见下方说明）”，但当前节选未包含构建命令，只能下载三个平台的预编译二进制，构建方式请查阅仓库完整 README。

Q：项目还在维护吗？

A：README 表示作者已开始用 FastTensors 重写该库，并推荐了相关项目 Booster，使用前可先查看这两个仓库的进展。

注意事项

FP32 权重体积大且吃内存，下载前先确认机器内存（7B 约 32GB、13B 约 64GB）。
模型权重来自第三方站点 nogpu.com，下载前请自行评估来源可信度。
macOS/Linux 下载的二进制如无法执行，需先确保其具备可执行权限。
V1 Roadmap 显示已支持 Mac/Linux/Windows 跨平台，以及 ARM NEON 与 x64 AVX2 加速。

核心亮点

纯 Go 实现，无 CGO 依赖，编译部署简单，适合 Go 技术栈团队
利用 Go 并发模型，在多核 CPU 上推理吞吐表现良好
代码结构清晰，便于二次开发和定制推理逻辑

不足之处

模型支持范围有限，主要针对 LLaMA 系列，新架构适配滞后
推理性能相比 llama.cpp 仍有差距，极端场景下显存/内存占用偏高
文档和示例较少，社区生态尚在早期

适用场景

Go 后端服务内嵌本地模型推理，避免跨语言调用开销
需要无 CGO 的纯静态二进制部署环境
教育或研究用途，学习 Go 实现 Transformer 推理的参考

替代项目

llama.cpp、whisper.cpp、ollama

项目介绍

llama.go 是开源模型领域的开源项目，由 gotzmann 开发，2023 年首次发布。

在全站 13,635 个收录项目中，它的 GitHub 星标数（1,404）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2024-09-20。基于纯Go实现，类似llama.cpp，可自行部署使用，完全免费。

它主要面向的使用场景是：Go后端服务内嵌本地模型推理，避免跨语言调用开销。同类可对比的替代方案包括 llama.cpp、whisper.cpp、ollama。

上一篇：Taiwan-LLM

下一篇：Awesome-Diffusion-LLM