llama.go

纯 Go 跑 LLaMA，不碰 C++ 也能本地推理

llama.go 是一个用纯 Go 语言实现的 LLaMA 模型推理库，目标是为 Go 开发者提供类似 llama.cpp 的本地大模型运行能力。它解决了 Go 生态中缺乏高性能本地推理方案的问题，让开发者无需依赖 C++ 或 Python 环境，即可在 Go 服务中直接加载并运行 LLaMA 系列模型。核心能力包括模型加载、分词、前向推理、采样生成等完整推理链路，支持 CPU 推理，并针对 Go 的并发特性做了优化。项目目前处于成长阶段，功能覆盖基础推理场景，适合对部署链路有统一语言要求的团队。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1398
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队gotzmann
所属国家
官网地址
GitHubhttps://github.com/gotzmann/llama.go
定价模式free
价格说明开源项目，基于纯Go实现，类似llama.cpp，可自行部署使用，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Go
技术栈/模型alpaca,chatgpt,dalai,gpt,gpt3,gpt4,gpt4all,llama,llama-cpp,llm,vicuna
GitHub 星标★ 1398
30天Star增速
HF 下载量
上线时间2023-03-19 00:00:00
最近更新2026-08-13 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0

核心亮点

  • 纯 Go 实现，无 CGO 依赖，编译部署简单，适合 Go 技术栈团队
  • 利用 Go 并发模型，在多核 CPU 上推理吞吐表现良好
  • 代码结构清晰，便于二次开发和定制推理逻辑

不足之处

  • 模型支持范围有限，主要针对 LLaMA 系列，新架构适配滞后
  • 推理性能相比 llama.cpp 仍有差距，极端场景下显存/内存占用偏高
  • 文档和示例较少，社区生态尚在早期

适用场景

  • Go 后端服务内嵌本地模型推理，避免跨语言调用开销
  • 需要无 CGO 的纯静态二进制部署环境
  • 教育或研究用途，学习 Go 实现 Transformer 推理的参考

替代项目

llama.cpp、whisper.cpp、ollama

项目介绍

llama.go 是一个开源模型领域的开源项目，官方简介：llama.go is like llama.cpp in pure Golang!。项目使用 Go 开发，在 GitHub 上获得 1399 星标。

上一篇：Taiwan-LLM

下一篇：Awesome-Diffusion-LLM

同类项目推荐

CoreML-Models 开源

下载即用的苹果端 AI 模型库，免去转换烦恼

Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···

★ 1843 2026-08-10
Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
rubra 开源

本地跑通带工具调用的开放模型，快速搭建 AI Agent

Open Weight, tool-calling LLMs

★ 155 2026-08-09