katib

在K8s上自动调参,让模型优化省心省力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 551 🐛 待处理 122 👀 关注 52
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1707
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和部署。

项目预览

katib 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队kubeflow
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,automl,huggingface,hyperparameter-tuning,jax,kubeflow,kubernetes,llm,machine-learning,mlops,neural-architecture-search,pytorch,scikit-learn,tensorflow
GitHub 星标★ 1707
上线时间2018-04-03 00:00:00
代码更新2026-11-09
仓库体积93.0 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

Katib 是一个基于 Kubernetes 的自动化机器学习(AutoML)平台,旨在解决在云原生环境中进行超参数调优、神经网络架构搜索(NAS)和早停(Early Stopping)的复杂性问题。它通过 Kubernetes 自定义资源(CRD)将实验、试验和调优任务声明式地管理起来,支持多种主流调参算法(如随机搜索、贝叶斯优化、TPE、CMA-ES 等),并集成了 PyTorch、TensorFlow、MXNet 等训练框架。Katib 提供统一的 API 和 UI 界面,让数据科学家无需关心底层资源调度,即可在 Kubernetes 集群上大规模并行运行调优任务,显著提升模型开发效率。其核心能力包括:超参数调优、架构搜索、多框架支持、分布式训练集成以及可扩展的算法插件机制。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1707

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:本地安装 4 步

环境要求

  • 一个可用的 Kubernetes 集群,并已配置 kubectl 可访问该集群
  • 本地已安装 kubectl 命令行工具(README 的安装命令均通过 kubectl 执行)
  • 如需使用 SDK 创建调优任务,需要 Python 环境与 pip

安装与启动步骤

  1. 1安装控制平面

    在能访问 Kubernetes 集群的终端执行,安装最新稳定版 Katib 控制平面与 CRD。

    kubectl apply -k "github.com/kubeflow/katib.git/manifests/v1beta1/installs/katib-standalone?ref=v0.17.0"
  2. 2安装开发版控制平面

    可选:若想体验最新改动,把 ref 换成 master;与稳定版二选一即可。

    kubectl apply -k "github.com/kubeflow/katib.git/manifests/v1beta1/installs/katib-standalone?ref=master"
  3. 3安装 Python SDK

    供数据科学家用 Python 简化超参调优任务的创建,安装最新稳定版 SDK。

    pip install -U kubeflow-katib
  4. 4查看并运行示例

    仓库 examples/v1beta1 目录提供完整的 Experiment 示例列表,可按需参考。

如何确认成功

按 README 指引参照官方 getting started 指南,用 Python SDK 创建并运行你的第一个超参调优 Experiment,能正常提交即表示安装可用。

常见问题

Q:安装 Katib 需要什么前提?

A:需要一个 Kubernetes 集群并能正常使用 kubectl,控制平面通过 kubectl apply -k 直接部署到集群中。

Q:稳定版和 master 版怎么选?

A:ref=v0.17.0 是 README 给出的最新稳定版,ref=master 是最新开发改动,生产环境建议用稳定版。

Q:不想写 YAML 怎么办?

A:可以安装 kubeflow-katib Python SDK,用 Python 代码创建超参调优任务,具体见官方 getting started 指南。

Q:哪里能找到可直接运行的示例?

A:README 指出仓库 examples/v1beta1 目录包含完整的 Katib Experiment 示例列表。

注意事项

  • 控制平面安装命令中 ?ref= 决定版本,建议固定到稳定 release 标签而非 master。
  • README 未给出 Python 最低版本要求,安装 SDK 前请自行确认 pip 环境可用。
  • 更详细的安装与使用步骤请查阅 README 中链接的 Kubeflow Katib 官方文档。

核心亮点

  • 原生集成Kubernetes,利用CRD声明式管理实验,易于扩展和自动化
  • 支持多种调参算法(贝叶斯、TPE、CMA-ES等),满足不同场景需求
  • 与主流训练框架(PyTorch、TensorFlow)无缝集成,上手成本低

不足之处

  • 文档和社区活跃度相对较低,新用户学习资源有限
  • 对非Kubernetes用户不友好,部署门槛较高

适用场景

  • 在Kubernetes集群上运行大规模超参数调优任务
  • 需要自动化神经网络架构搜索(NAS)的深度学习项目
  • 希望将AutoML能力集成到现有MLOps流水线的团队

替代项目

Kubeflow、Optuna、Ray Tune

上一篇:PRIME

下一篇:Jackrong-llm-finetuning-guide

同类项目推荐

TorchSpec 开源

用 PyTorch 原生训练投机解码草稿模型,推理直接提速

A PyTorch native library for training speculative decoding models

★ 267 2026-10-17
AAAI2025_MIA-Tuner 开源

一句话识别文本是否来自模型预训练数据,助力隐私审计。

[AAAI'25 Oral] "MIA-Tuner: Adapting Large Language Models as Pre-training Text Detec···

★ 130 2026-08-09
raft 开源

微调+RAG双阶段,让AI代理精准模仿特定人物

RAFT, or Retrieval-Augmented Fine-Tuning, is a method comprising of a fine-tuning an···

★ 178 2026-08-09
RAG-Retrieval 开源

统一微调 RAG 检索模型,让召回更精准

Unify Efficient Fine-tuning of RAG Retrieval, including Embedding, ColBERT, ReRanke···

★ 1137 2026-08-09
tunix 开源

用 JAX 搭积木做 LLM 后训练,算法随便换

A Lightweight LLM Post-Training Library

★ 2504 2026-09-16
DiffuseKronA 开源

用更少参数微调扩散模型,生成更精准的个性化图像

DiffuseKronA: A Parameter Efficient Fine-tuning Method for Personalized Diffusion Mo···

★ 131 2026-08-09
CausalPFN 开源

用上下文学习,秒级估算因果效应,告别复杂建模

CausalPFN: Amortized Causal Effect Estimation via In-Context Learning

★ 137 2026-08-09
d1 开源

用强化学习给扩散大模型补上推理能力

Official Implementation for the paper "d1: Scaling Reasoning in Diffusion Large Lang···

★ 460 2026-09-15
Dreambooth 开源

用几张照片微调扩散模型,让AI学会画你的专属对象

Fine-tuning of diffusion models

★ 97 2026-08-09