项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 667
使用教程
环境要求
- Go 1.21+
- gguf 模型文件
- CGO 编译环境
安装与启动步骤
-
1安装
让 Go 程序直接调用 llama.cpp 做本地推理。
go install github.com/hybridgroup/yzma@latest -
2拉模型文件
准备 gguf 格式模型，按显存选参数量。
-
3跑 hello 示例
先跑最短示例确认绑定可用。
go run ./examples/hello/ -
4跑对话示例
传模型路径跑多轮对话。
go run ./examples/chat/ -model ./models/qwen2.5-0.5b-instruct-fp16.gguf
如何确认成功
示例能加载模型并输出文本
注意事项
- CGO 与本地库绑定，交叉编译要额外配置。
- WASM 示例是另一条路径，别和本地推理混用参数。
核心亮点
- 用 purego 动态加载 llama.cpp，避免 CGO 交叉编译地狱，Go 项目集成成本低
- 覆盖 CUDA/Metal/Vulkan/ROCm 和 WebAssembly，同一套 API 跨桌面、边缘设备与浏览器
- 支持 GGUF 和 VLM，能直接加载量化模型做文本与视觉推理，适合离线场景
不足之处
- 仍处于早期阶段，API 可能随 llama.cpp 上游变动而调整
- 文档和示例相对有限，复杂部署场景需要自行摸索
适用场景
- Go 编写的桌面或 CLI 工具内嵌本地聊天/摘要模型，完全离线运行
- 边缘设备如树莓派、Jetson 上跑轻量 VLM 做图像识别或语音交互
- WebAssembly 环境中在浏览器端直接执行小模型推理，保护数据隐私
替代项目
ollama、llama.cpp、LocalAI
同类项目推荐
sematic
开源
用纯 Python 构建可复现的 ML 流水线，一键上云
An open-source ML pipeline development platform
superduper
开源
把 AI 模型直接跑在数据库上，快速搭建生产级智能应用。
Superduper: End-to-end framework for building custom AI applications and agents.
tardigrade
开源
事件日志驱动，Agent 状态可回放可恢复
The TypeScript framework for building composable actors around an immutable event lo···
youtu-agent
开源
用开源模型快速搭建你的 AI 智能体，简单不简陋。
A simple yet powerful agent framework that delivers with open-source models
VL.Fuse
开源
在节点图上拖拽，直接生成 GPU 加速的视觉程序
A library for visually programming on the GPU, built to enable rapid workflows and m···
solon-ai
开源
Java 开发者快速构建 LLM 应用，支持 RAG 与 Agent，可嵌入主流框架。
Java AI application development framework (supports LLM-tool,skill; RAG; MCP; Agent-···
eve
开源
用 TypeScript+Markdown 快速搭出可上线的 AI Agent
The Open Framework for Building Agents
claudekit
开源
让 Claude Code 生成的代码先过验证关，再进生产环境
A verification-first engineering toolkit for Claude Code. Built for senior ICs and t···
genai-stack
开源
一条命令拉起本地大模型+图数据库的 RAG 应用
Langchain + Docker + Neo4j + Ollama