llama.go

纯 Go 跑 LLaMA,不碰 C++ 也能本地推理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 72 🐛 待处理 16 👀 关注 30
GitHub ↗
GitHub 星标 ★ 1404
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,基于纯Go实现,类似llama.cpp,可自行部署使用,完全免费。

项目预览

llama.go 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队gotzmann
定价模式🏷️完全免费
价格说明开源项目,基于纯Go实现,类似llama.cpp,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Go
技术栈/模型alpaca,chatgpt,dalai,gpt,gpt3,gpt4,gpt4all,llama,llama-cpp,llm,vicuna
GitHub 星标★ 1404
上线时间2023-03-19 00:00:00
代码更新2024-09-20
仓库体积9.6 MB
本站数据更新2026-11-19
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

llama.go 是一个用纯 Go 语言实现的 LLaMA 模型推理库,目标是为 Go 开发者提供类似 llama.cpp 的本地大模型运行能力。它解决了 Go 生态中缺乏高性能本地推理方案的问题,让开发者无需依赖 C++ 或 Python 环境,即可在 Go 服务中直接加载并运行 LLaMA 系列模型。核心能力包括模型加载、分词、前向推理、采样生成等完整推理链路,支持 CPU 推理,并针对 Go 的并发特性做了优化。项目目前处于成长阶段,功能覆盖基础推理场景,适合对部署链路有统一语言要求的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1404

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 15 分钟 部署方式:命令行工具 3 步

环境要求

  • 运行 LLaMA-7B 的 FP32 权重至少需要 32GB 内存(RAM,非显存)
  • 运行 LLaMA-13B 需翻倍到 64GB 内存
  • 操作系统为 macOS、Linux 或 Windows(README 提供三者预编译二进制)
  • 需自备 LLaMA 模型权重:自行获取并转换原始模型,或下载 README 提供的现成 fp32 权重

安装与启动步骤

  1. 1下载模型权重

    从 README 给出的链接下载现成权重:LLaMA-7B 用 llama-7b-fp32.bin,LLaMA-13B 用 llama-13b-fp32.bin,保存到本地目录如 ~/models。

  2. 2下载可执行文件

    在仓库 builds 目录按系统下载预编译二进制:Windows 用 llama-go-v1.4.0.exe,macOS 用 llama-go-v1.4.0-macos,Linux 用 llama-go-v1.4.0-linux。

  3. 3运行推理

    把模型路径和提示词传给二进制即可启动推理,README 给出的是 macOS 示例,其他平台把文件名换成对应二进制。

    llama-go-v1.4.0-macos \
        --model ~/models/llama-7b-fp32.bin \
        --prompt "Why Golang is so popular?"

关键配置

配置项必填说明示例
--model是指定 LLaMA FP32 权重文件的本机路径~/models/llama-7b-fp32.bin
--prompt是输入的提示词文本,模型据此生成回答"Why Golang is so popular?"

如何确认成功

终端无报错并打印出针对 --prompt 提示词生成的文本回答,即表示推理成功。

常见问题

Q:内存不够怎么办?

A:FP32 权重很占内存:7B 至少要 32GB RAM,13B 要 64GB。内存不足时改用更小的模型,或先扩容内存再跑。

Q:需要自己转换模型吗?

A:不一定。你可以自行获取并转换原始 LLaMA 模型,也可以直接下载 README 中提供的 llama-7b-fp32.bin / llama-13b-fp32.bin 现成权重。

Q:能用 GPU 加速吗?

A:README 只强调需要的是 RAM(明确说明不是 VRAM 或显存),未提供 GPU 相关说明,按 CPU 推理使用即可。

Q:怎么自己从源码构建?

A:README 提到可“从源码构建(见下方说明)”,但当前节选未包含构建命令,只能下载三个平台的预编译二进制,构建方式请查阅仓库完整 README。

Q:项目还在维护吗?

A:README 表示作者已开始用 FastTensors 重写该库,并推荐了相关项目 Booster,使用前可先查看这两个仓库的进展。

注意事项

  • FP32 权重体积大且吃内存,下载前先确认机器内存(7B 约 32GB、13B 约 64GB)。
  • 模型权重来自第三方站点 nogpu.com,下载前请自行评估来源可信度。
  • macOS/Linux 下载的二进制如无法执行,需先确保其具备可执行权限。
  • V1 Roadmap 显示已支持 Mac/Linux/Windows 跨平台,以及 ARM NEON 与 x64 AVX2 加速。

核心亮点

  • 纯 Go 实现,无 CGO 依赖,编译部署简单,适合 Go 技术栈团队
  • 利用 Go 并发模型,在多核 CPU 上推理吞吐表现良好
  • 代码结构清晰,便于二次开发和定制推理逻辑

不足之处

  • 模型支持范围有限,主要针对 LLaMA 系列,新架构适配滞后
  • 推理性能相比 llama.cpp 仍有差距,极端场景下显存/内存占用偏高
  • 文档和示例较少,社区生态尚在早期

适用场景

  • Go 后端服务内嵌本地模型推理,避免跨语言调用开销
  • 需要无 CGO 的纯静态二进制部署环境
  • 教育或研究用途,学习 Go 实现 Transformer 推理的参考

替代项目

llama.cpp、whisper.cpp、ollama

上一篇:Taiwan-LLM

下一篇:Awesome-Diffusion-LLM

同类项目推荐

GFT 开源

用树形词汇表让图模型学会跨数据集迁移,省去重复训练

GFT: Graph Foundation Model with Transferable Tree Vocabulary, NeurIPS 2024.

★ 61 2026-08-09
laya 开源

一次前向传播,把任意文本变成选择、评分和是/否判断

Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decision···

★ 35664 2026-10-14
solon 开源

换掉 Spring,启动快 10 倍,内存省一半,并发高 700%

Java enterprise application development framework for full scenario: Restrained, Eff···

★ 2807 2026-08-09
Kandinsky-2 开源

多语言文本生图,支持图像编辑修复,开箱即用

Kandinsky 2 — multilingual text2image latent diffusion model

★ 2813 2026-08-09
Awesome-LLM-Tabular 开源

一站式索引 LLM 表格数据研究,快速上手不迷路

Awesome-LLM-Tabular: a curated list of Large Language Model applied to Tabular Data

★ 431 2026-08-09
spark-nlp 开源

在 Spark 上跑 NLP,海量文本秒级处理,生产级模型开箱即用

State of the Art Natural Language Processing

★ 4163 2026-08-09
LLaVA-MoD 开源

把 LLaVA 模型做小做快,性能不掉线

[ICLR 2025] LLaVA-MoD: Making LLaVA Tiny via MoE-Knowledge Distillation

★ 228 2026-08-09
awesome-vlm-architectures 开源

一张图看懂155+视觉语言模型架构,快速选型不迷路

Curated visual catalog of 200+ vision-language model (VLM/MLLM) architectures: paper···

★ 1369 2026-08-09
small-doge 开源

小模型也能跑得溜,低资源部署不将就。

Doge Family of Small Language Models

★ 200 2026-08-09