yzma

Go 里直接跑本地大模型，无需 Python 和网络

yzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架，目标是让 Go 开发者无需依赖 CGO 或外部服务，就能在应用中嵌入大语言模型和多模态模型。它通过 purego 动态加载 llama.cpp 的共享库，支持 GGUF 格式模型，并利用 CUDA、Metal、Vulkan、ROCm 等后端在 Linux、macOS、Windows 以及 WebAssembly 上实现硬件加速推理。项目覆盖从树莓派、Jetson Orin Nano 到桌面 GPU 的多种设备，适合需要把 LLM 能力直接编译进 Go 二进制、追求低延迟和离线运行的场景。核心能力包括模型加载、文本生成、视觉语言模型推理，以及跨平台构建，省去了 Python 运行时和网络调用的开销，让 Go 服务端或边缘程序可以像调用普通库一样调用本地模型。