项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 543
技术标签
使用教程
环境要求
- Docker
- NVIDIA 容器运行时
安装与启动步骤
-
1先看镜像标签
它按模型打标签,标签就是模型名与规模。
-
2一条命令起服务
端口映射好就能用,不用装任何依赖。
docker run -d --rm -p 8080:8080 ghcr.io/kaito-project/aikit/qwen3.5:4b -
3调 OpenAI 兼容接口
起来后是标准端点,现有客户端直接改地址。
-
4换更大的模型标签
同一套命令换标签即可,配置不用改。
-
5上 Kubernetes
要在集群里跑,用它对应的控制器。
如何确认成功
起服务后用 OpenAI 兼容客户端请求一次能拿到回复,换成另一个模型标签重跑依然可用
注意事项
- 它的价值是把模型、推理框架、依赖全打进镜像,一条 docker run 就能用。
- 镜像按模型分标签,选标签等于选模型。
- 本地试和集群部署是同一套东西,迁移成本低。
- 镜像体积大,首次拉取慢。
- 本地开发快速验证模型效果最合适。
核心亮点
- 提供从微调到部署的端到端流程,显著降低上手门槛
- 基于 Docker/K8s,可无缝迁移到云原生环境
- 兼容 Llama、Gemma 等主流开源模型,生态覆盖广
不足之处
- 早期项目,功能完整性和稳定性有待验证
- 文档/社区待观察
适用场景
- 企业快速原型验证,定制私有领域模型
- 个人开发者本地微调并部署小规模 LLM 服务
- 教育场景中教学 LLM 微调与部署流程
替代项目
Hugging Face PEFT、Axolotl、vLLM
下一篇:LMFlow
同类项目推荐
Megatron-Bridge
开源
Hugging Face 模型一键转 Megatron 训练,训完再转回来
Training library for Megatron-based models with bidirectional Hugging Face conversio···
Composition-RL
开源
把可验证提示词自动组合,低成本扩充 RL 训练数据
[Neurips 2026] Official repository for the paper "Composition-RL: Compose Your Verif···
hands-on-train-and-deploy-ml
开源
10步搞定ML模型训练到API部署,以加密货币预测为例
Train and Deploy an ML REST API to predict crypto prices, in 10 steps
diffusion-DDIM-pytorch
开源
快速上手 DDIM,用更少步数生成高质量图像
This is a pytorch implementation of Denoising Diffusion Implicit Models
LLM-Drop
开源
丢弃冗余层,加速 Transformer 推理,省算力不掉点。
The official implementation of the paper "Uncovering the Redundancy in Transformers ···
CICD-for-Machine-Learning
开源
用GitHub Actions一键跑通模型训练到部署全流程
A beginner's project on automating the training, evaluation, versioning, and deploym···
FLNK
开源
让联邦学习系统持续吸收新知识,延长寿命、降低成本
Federated Learning with New Knowledge -- explore to incorporate various new knowledg···
Automodel
开源
Hugging Face 模型直接多卡分布式微调,不改代码。
Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face sup···
chatterbox-finetuning
开源
用你的数据训练专属多语言语音模型,支持声音克隆。
Fine-tuning toolkit for Chatterbox TTS & Chatterbox TURBO & Chatterbox NANO models. ···
