项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3246
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 可运行 pip 的 Python 环境(README 未指定具体版本)
- 本地部署:一台可运行 Determined 集群的机器(on-prem)
- 云端部署:AWS 或 GCP 账号(README 提供对应部署指南链接)
- 其他受支持环境:Kubernetes、Slurm/PBS
安装与启动步骤
-
1安装 Determined CLI
使用 pip 安装 determined 包,安装后即可使用 det 命令行工具,这是本地和云端部署的统一入口。
pip install determined -
2启动本地集群
用 det deploy 在本地拉起一个 Determined 集群,之后才能提交实验;集群参数 README 未展开,详见 on-prem 部署指南。
det deploy local cluster-up -
3改造训练代码
把已有的 PyTorch/TensorFlow 代码整理成类式 API(如 PyTorchTrial)或只用需要的函数(Core API),使其兼容 Determined。
-
4提交训练实验
用 YAML 文件描述分布式训练、超参数搜索等配置,然后通过 det experiment create 把代码目录和配置一起提交。
det experiment create gpt.yaml . -
5部署到云端(可选)
如需使用云端 GPU,可通过 det deploy 在 AWS 或 GCP 上部署集群,具体参数见对应云厂商部署指南。
det deploy aws up
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
resources | 否 | 实验 YAML 中用于配置资源的字段,README 中该示例被截断,完整写法见官方文档 | resources: |
如何确认成功
README 未给出验证命令;本地集群启动后可用 det CLI 继续提交实验来确认集群可用。
常见问题
Q:Determined 支持哪些深度学习框架?
A:兼容 PyTorch 和 TensorFlow,可用 PyTorchTrial 类式 API 或 Core API(det.core.init)接入现有代码。
Q:如何把已有训练代码接入?
A:两种方式:一是整理成 PyTorchTrial 等类式 API;二是只调用需要的函数,通过 Core API 的 det.core.init() 初始化。
Q:只能在本地跑吗?
A:不是。除本地(on-prem)外,还支持 AWS、GCP、Kubernetes 以及 Slurm/PBS,分别有对应的集群部署指南。
Q:超参数调优和分布式训练怎么配置?
A:通过 YAML 文件统一配置,从分布式训练到超参数调优都由该配置文件描述。
注意事项
- README 未给出 Python 版本、端口号、镜像名等细节,完整安装请查阅对应环境的集群部署指南(Local/AWS/GCP/K8s/Slurm-PBS)。
- det deploy 除本地外还支持云端,云上部署前需准备好相应云账号与权限。
- 项目主要组件为 Python 库、命令行工具(CLI)和 Web UI,实验对比与可视化在 Web UI 中完成。
核心亮点
- 内置贝叶斯等超参搜索算法,自动调参效率高
- 对 PyTorch/TensorFlow 代码侵入小,迁移成本低
- 自带资源调度和任务队列,GPU 利用率高
不足之处
- 文档/社区待观察
- 生态相对较新,第三方集成不如 Kubeflow 丰富
适用场景
- 团队需要快速进行大规模分布式训练
- 超参数调优实验频繁,希望自动化搜索
- 统一管理多机 GPU 资源,提升利用率
替代项目
Kubeflow、Polyaxon、MLflow
同类项目推荐
Torch-Pruning
开源
一键剪枝任意 PyTorch 模型,自动处理复杂依赖,压缩提速不降准。
[CVPR 2023] DepGraph: Towards Any Structural Pruning; LLMs, Vision Foundation Models···
lora-svc
开源
用少量干声克隆歌手音色,轻松实现歌声转换
singing voice change based on whisper, and lora for singing voice clone
LoongForge
开源
一套框架,NVIDIA 和昆仑芯通吃,搞定大模型全流程训练
A high-performance framework for training LLMs, VLMs, diffusion, and embodied models···
OntoTune
开源
用本体知识给大模型开小灶,让专业回答更靠谱
[Paper][WWW2025] OntoTune: Ontology-Driven Self-training for Aligning Large Language···
AwesomeOPD
开源
一站式速览在线策略蒸馏,紧跟LLM前沿
Awesome List for On-Policy Distillation
mlflow_for_ml_dev
开源
跟着示例跑通 MLflow,搞定实验跟踪与模型管理
Repository with code examples of mlflow
ToolOrchestra
开源
用强化学习训练模型更聪明地调用工具、编排工作流
ToolOrchestra is an end-to-end RL training framework for orchestrating tools and age···
OpenSeq2Seq
开源
用配置文件快速搭建语音识别、翻译和语音合成模型,支持多卡混合精度训练。
Toolkit for efficient experimentation with Speech Recognition, Text2Speech and NLP
neural-structured-learning
开源
给模型加图关系与对抗约束,少标注也能训得更准
Training neural models with structured signals.
