aikit

一条命令微调并部署开源大模型,省去繁琐工程配置。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 56 🐛 待处理 39 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 543
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

aikit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队kaito-project
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Go
技术栈/模型ai,buildkit,chatgpt,docker,fine-tuning,finetuning,gemma,gpt,inference,kubernetes,large-language-models,llama,llm,localllama,mistral,mixtral,nvidia,open-llm,open-source-llm,openai
GitHub 星标★ 543
上线时间2023-09-20 00:00:00
代码更新2026-11-09
仓库体积7.7 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

aikit 是一个面向开源大语言模型的轻量级工具链,旨在简化 LLM 的微调、构建和部署流程。它解决了开发者在使用开源模型(如 Llama、Gemma 等)时面临的工程复杂性,将模型微调、容器化打包和推理服务整合为一条龙流水线。核心能力包括:基于 Docker 和 Kubernetes 的自动化部署,支持本地或云端环境;提供简洁的 CLI 接口,让用户无需深入底层细节即可完成模型定制;内置对主流开源模型架构的兼容,并支持与 ChatGPT 等 API 的对接。项目处于早期阶段,代码结构清晰,适合希望快速上手 LLM 定制化开发的团队或个人。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 543

使用教程

难度:进阶 约 25 分钟 部署方式:容器部署 5 步

环境要求

  • Docker
  • NVIDIA 容器运行时

安装与启动步骤

  1. 1先看镜像标签

    它按模型打标签,标签就是模型名与规模。

  2. 2一条命令起服务

    端口映射好就能用,不用装任何依赖。

    docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b
  3. 3调 OpenAI 兼容接口

    起来后是标准端点,现有客户端直接改地址。

  4. 4换更大的模型标签

    同一套命令换标签即可,配置不用改。

  5. 5上 Kubernetes

    要在集群里跑,用它对应的控制器。

如何确认成功

起服务后用 OpenAI 兼容客户端请求一次能拿到回复,换成另一个模型标签重跑依然可用

注意事项

  • 它的价值是把模型、推理框架、依赖全打进镜像,一条 docker run 就能用。
  • 镜像按模型分标签,选标签等于选模型。
  • 本地试和集群部署是同一套东西,迁移成本低。
  • 镜像体积大,首次拉取慢。
  • 本地开发快速验证模型效果最合适。

核心亮点

  • 提供从微调到部署的端到端流程,显著降低上手门槛
  • 基于 Docker/K8s,可无缝迁移到云原生环境
  • 兼容 Llama、Gemma 等主流开源模型,生态覆盖广

不足之处

  • 早期项目,功能完整性和稳定性有待验证
  • 文档/社区待观察

适用场景

  • 企业快速原型验证,定制私有领域模型
  • 个人开发者本地微调并部署小规模 LLM 服务
  • 教育场景中教学 LLM 微调与部署流程

替代项目

Hugging Face PEFT、Axolotl、vLLM

上一篇:chatgpt-finetune-ui

下一篇:LMFlow

同类项目推荐

Megatron-Bridge 开源

Hugging Face 模型一键转 Megatron 训练,训完再转回来

Training library for Megatron-based models with bidirectional Hugging Face conversio···

★ 986 2026-10-12
Composition-RL 开源

把可验证提示词自动组合,低成本扩充 RL 训练数据

[Neurips 2026] Official repository for the paper "Composition-RL: Compose Your Verif···

★ 138 2026-10-05
hands-on-train-and-deploy-ml 开源

10步搞定ML模型训练到API部署,以加密货币预测为例

Train and Deploy an ML REST API to predict crypto prices, in 10 steps

★ 891 2026-08-09
diffusion-DDIM-pytorch 开源

快速上手 DDIM,用更少步数生成高质量图像

This is a pytorch implementation of Denoising Diffusion Implicit Models

★ 137 2026-08-09
LLM-Drop 开源

丢弃冗余层,加速 Transformer 推理,省算力不掉点。

The official implementation of the paper "Uncovering the Redundancy in Transformers ···

★ 193 2026-08-09
CICD-for-Machine-Learning 开源

用GitHub Actions一键跑通模型训练到部署全流程

A beginner's project on automating the training, evaluation, versioning, and deploym···

★ 123 2026-08-09
FLNK 开源

让联邦学习系统持续吸收新知识,延长寿命、降低成本

Federated Learning with New Knowledge -- explore to incorporate various new knowledg···

★ 88 2026-08-09
Automodel 开源

Hugging Face 模型直接多卡分布式微调,不改代码。

Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face sup···

★ 1079 2026-09-16
chatterbox-finetuning 开源

用你的数据训练专属多语言语音模型,支持声音克隆。

Fine-tuning toolkit for Chatterbox TTS & Chatterbox TURBO & Chatterbox NANO models. ···

★ 120 2026-08-09