kronk

核心亮点

• 统一封装 llama.cpp、whisper.cpp、stable-diffusion.cpp，一个 Go 依赖覆盖文本、语音、图像三类本地推理
• 提供高层 API 与生产级模型服务器，支持流式输出、多模型路由和硬件加速，可直接嵌入后端服务
• 纯 Go 调用体验，避免 Python 运行时依赖，适合已有 Go 技术栈的团队做本地 AI 能力集成

不足之处

• 项目星标约 817，属于早期阶段，API 和功能可能快速变动，长期维护与社区生态待观察
• 底层依赖 C/C++ 库，跨平台编译和 GPU 驱动配置可能带来额外部署复杂度

适用场景

• 在 Go 后端服务中嵌入本地大模型，实现私有化对话或文本生成，避免调用外部 API
• 为 CLI 工具或桌面应用增加本地语音转写能力，用 whisper.cpp 处理音频而无需联网
• 在边缘设备或内网环境部署图像生成服务，通过 stable-diffusion.cpp 提供文生图接口

替代项目

ollama、llama.cpp

项目介绍