
llama.go
纯 Go 跑 LLaMA,不碰 C++ 也能本地推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1404
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 运行 LLaMA-7B 的 FP32 权重至少需要 32GB 内存(RAM,非显存)
- 运行 LLaMA-13B 需翻倍到 64GB 内存
- 操作系统为 macOS、Linux 或 Windows(README 提供三者预编译二进制)
- 需自备 LLaMA 模型权重:自行获取并转换原始模型,或下载 README 提供的现成 fp32 权重
安装与启动步骤
-
1下载模型权重
从 README 给出的链接下载现成权重:LLaMA-7B 用 llama-7b-fp32.bin,LLaMA-13B 用 llama-13b-fp32.bin,保存到本地目录如 ~/models。
-
2下载可执行文件
在仓库 builds 目录按系统下载预编译二进制:Windows 用 llama-go-v1.4.0.exe,macOS 用 llama-go-v1.4.0-macos,Linux 用 llama-go-v1.4.0-linux。
-
3运行推理
把模型路径和提示词传给二进制即可启动推理,README 给出的是 macOS 示例,其他平台把文件名换成对应二进制。
llama-go-v1.4.0-macos \ --model ~/models/llama-7b-fp32.bin \ --prompt "Why Golang is so popular?"
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--model | 是 | 指定 LLaMA FP32 权重文件的本机路径 | ~/models/llama-7b-fp32.bin |
--prompt | 是 | 输入的提示词文本,模型据此生成回答 | "Why Golang is so popular?" |
如何确认成功
终端无报错并打印出针对 --prompt 提示词生成的文本回答,即表示推理成功。
常见问题
Q:内存不够怎么办?
A:FP32 权重很占内存:7B 至少要 32GB RAM,13B 要 64GB。内存不足时改用更小的模型,或先扩容内存再跑。
Q:需要自己转换模型吗?
A:不一定。你可以自行获取并转换原始 LLaMA 模型,也可以直接下载 README 中提供的 llama-7b-fp32.bin / llama-13b-fp32.bin 现成权重。
Q:能用 GPU 加速吗?
A:README 只强调需要的是 RAM(明确说明不是 VRAM 或显存),未提供 GPU 相关说明,按 CPU 推理使用即可。
Q:怎么自己从源码构建?
A:README 提到可“从源码构建(见下方说明)”,但当前节选未包含构建命令,只能下载三个平台的预编译二进制,构建方式请查阅仓库完整 README。
Q:项目还在维护吗?
A:README 表示作者已开始用 FastTensors 重写该库,并推荐了相关项目 Booster,使用前可先查看这两个仓库的进展。
注意事项
- FP32 权重体积大且吃内存,下载前先确认机器内存(7B 约 32GB、13B 约 64GB)。
- 模型权重来自第三方站点 nogpu.com,下载前请自行评估来源可信度。
- macOS/Linux 下载的二进制如无法执行,需先确保其具备可执行权限。
- V1 Roadmap 显示已支持 Mac/Linux/Windows 跨平台,以及 ARM NEON 与 x64 AVX2 加速。
核心亮点
- 纯 Go 实现,无 CGO 依赖,编译部署简单,适合 Go 技术栈团队
- 利用 Go 并发模型,在多核 CPU 上推理吞吐表现良好
- 代码结构清晰,便于二次开发和定制推理逻辑
不足之处
- 模型支持范围有限,主要针对 LLaMA 系列,新架构适配滞后
- 推理性能相比 llama.cpp 仍有差距,极端场景下显存/内存占用偏高
- 文档和示例较少,社区生态尚在早期
适用场景
- Go 后端服务内嵌本地模型推理,避免跨语言调用开销
- 需要无 CGO 的纯静态二进制部署环境
- 教育或研究用途,学习 Go 实现 Transformer 推理的参考
替代项目
llama.cpp、whisper.cpp、ollama
上一篇:Taiwan-LLM
同类项目推荐
GFT
开源
用树形词汇表让图模型学会跨数据集迁移,省去重复训练
GFT: Graph Foundation Model with Transferable Tree Vocabulary, NeurIPS 2024.
laya
开源
一次前向传播,把任意文本变成选择、评分和是/否判断
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decision···
solon
开源
换掉 Spring,启动快 10 倍,内存省一半,并发高 700%
Java enterprise application development framework for full scenario: Restrained, Eff···
Kandinsky-2
开源
多语言文本生图,支持图像编辑修复,开箱即用
Kandinsky 2 — multilingual text2image latent diffusion model
Awesome-LLM-Tabular
开源
一站式索引 LLM 表格数据研究,快速上手不迷路
Awesome-LLM-Tabular: a curated list of Large Language Model applied to Tabular Data
spark-nlp
开源
在 Spark 上跑 NLP,海量文本秒级处理,生产级模型开箱即用
State of the Art Natural Language Processing
LLaVA-MoD
开源
把 LLaVA 模型做小做快,性能不掉线
[ICLR 2025] LLaVA-MoD: Making LLaVA Tiny via MoE-Knowledge Distillation
awesome-vlm-architectures
开源
一张图看懂155+视觉语言模型架构,快速选型不迷路
Curated visual catalog of 200+ vision-language model (VLM/MLLM) architectures: paper···
small-doge
开源
小模型也能跑得溜,低资源部署不将就。
Doge Family of Small Language Models