kronk

Go 项目一键接入本地大模型、语音和图像生成

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 63 🐛 待处理 10 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 864
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

kronk 项目界面预览图
图片来源：项目官网

项目数据

分类基础设施
开发团队ardanlabs
官网地址https://www.kronkai.com
GitHubhttps://github.com/ardanlabs/kronk
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型golang,local-ai,local-inference
GitHub 星标★ 864
上线时间2025-11-18 00:00:00
代码更新2026-11-06
仓库体积125.7 MB
本站数据更新2026-11-06
维护状态活跃
收录时间2026-09-23
浏览次数3

项目介绍

Kronk 是一个用 Go 语言编写的高层推理框架，目标是把 llama.cpp、whisper.cpp 和 stable-diffusion.cpp 直接集成进 Go 应用，让开发者无需切换到 Python 生态即可在本地完成大语言模型、语音识别和图像生成的硬件加速推理。它解决的核心问题是 Go 项目做本地 AI 推理时缺乏统一、易用且生产可用的封装：既要管理底层 C/C++ 库的编译与绑定，又要处理模型加载、上下文管理、并发请求和硬件加速。Kronk 提供简洁的 Go API，同时附带一个可直接部署的模型服务器，支持多模型路由、流式输出和 GPU 加速，适合把本地推理能力嵌入后端服务、CLI 工具或边缘设备。项目处于早期阶段，但 API 设计偏向工程化，强调开箱即用与生产环境稳定性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-23 · 当前星标 ★ 864

技术标签

使用教程

难度：进阶 约 20 分钟 部署方式：本地安装 4 步

环境要求

  • Go 1.22+（源码安装）
  • 本地 GGUF 模型

安装与启动步骤

  1. 1安装

    macOS 用 brew，其他平台用 go install。

    brew install ardanlabs/kronk/kronk
# 或：go install github.com/ardanlabs/kronk/cmd/kronk@latest

  2. 2拉模型

    首次运行会下载 GGUF 权重，注意留磁盘。

    kronk --help

  3. 3问一次

    示例 Makefile 里给了常见用法。

    make example-question

  4. 4试其他模态

    视觉、音频、决策模型各有一条示例。

    make example-vision
make example-audio

如何确认成功

命令行能对本地模型提问并流式输出回答。

注意事项

  • 它是 Go 写的本地推理服务端，适合嵌进自己的后端。
  • Apple Silicon 与 NVIDIA 走不同加速路径，先确认后端。

核心亮点

  • 统一封装 llama.cpp、whisper.cpp、stable-diffusion.cpp，一个 Go 依赖覆盖文本、语音、图像三类本地推理
  • 提供高层 API 与生产级模型服务器，支持流式输出、多模型路由和硬件加速，可直接嵌入后端服务
  • 纯 Go 调用体验，避免 Python 运行时依赖，适合已有 Go 技术栈的团队做本地 AI 能力集成

不足之处

  • 项目星标约 817，属于早期阶段，API 和功能可能快速变动，长期维护与社区生态待观察
  • 底层依赖 C/C++ 库，跨平台编译和 GPU 驱动配置可能带来额外部署复杂度

适用场景

  • 在 Go 后端服务中嵌入本地大模型，实现私有化对话或文本生成，避免调用外部 API
  • 为 CLI 工具或桌面应用增加本地语音转写能力，用 whisper.cpp 处理音频而无需联网
  • 在边缘设备或内网环境部署图像生成服务，通过 stable-diffusion.cpp 提供文生图接口

替代项目

ollama、llama.cpp

上一篇：OpenArc

下一篇：Portable-Local-Studio

同类项目推荐

VidCom2 开源

给视频大模型视觉 token 瘦身，推理更快还不掉点

[EMNLP 2025 Main] Video Compression Commander: Plug-and-Play Inference Acceleration ···

★ 136 2026-10-14
SLA 开源

让视频生成模型推理更快，画质不掉线

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse–Linear Atten···

★ 553 2026-08-09
SmarterRouter 开源

统一管理本地多模型，自动路由省成本，故障秒切换。

SmarterRouter: An intelligent LLM gateway and VRAM-aware router for Ollama, llama.cp···

★ 157 2026-08-09
archestra 开源

给企业 AI 套上护栏，统一管理模型与工具，安全落地

Enterprise AI Platform with guardrails, MCP registry, gateway & orchestrator

★ 4431 2026-08-09
moe-l2 开源

8GB 显卡也能跑 100B+ MoE 大模型

MoE expert offload for low-VRAM GPUs — run 100B+ MoE models (DeepSeek, Qwen, Mixtra···

★ 145 2026-10-16
CliRelay 开源

自建 AI 网关，统一管理编码 CLI 的模型调用与花费。

Self-hosted AI gateway for coding CLIs — one OpenAI/Claude/Gemini/Codex-compatible ···

★ 1051 2026-08-09
slotstream 开源

小内存 Mac 也能跑百 GB 大模型，从 SSD 流式加载

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streame···

★ 652 2026-11-06
XMem 开源

给 AI 代理装上长期记忆，多模态多代理协作不掉线

Xmem is a India's First open source multi-modal, multi-agentic long‑term memory lay···

★ 233 2026-08-09
tiygate 开源

给 LLM 服务加个高可用保险，自动切换不宕机

TiyGate is a lightweight gateway for highly available LLM services. 一款致力于提供高···

★ 147 2026-08-09