项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 97
核心亮点
- 驱动级显存限制，防止单个容器占满显存导致OOM
- 时间切片调度，公平分配计算资源，避免饿死
- 与ClearML集成，同时支持独立使用，部署灵活
不足之处
- 文档/社区待观察
- 仅支持NVIDIA GPU，依赖特定驱动特性
适用场景
- 多租户共享GPU集群，隔离不同团队任务
- 在单卡上同时运行多个小模型推理服务
- 开发测试环境，多任务并行调参
替代项目
NVIDIA MPS、Kubernetes device plugin、RunPod
同类项目推荐
openvino.genai
开源
几行代码在 Intel 硬件上跑通大模型推理
Run Generative AI models with simple C++/Python API and using OpenVINO Runtime
dcs-core
开源
配置数据规则，自动监控数据质量，异常及时告警。
Open Source Data Quality Monitoring.
pmetal
开源
Mac 上一条龙跑大模型：推理、微调、服务全本地
PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA···
optillm
开源
给 LLM 推理加个外挂，自动优化提示词和采样策略，提升答案质量与效率。
Optimizing inference proxy for LLMs
krsh
开源
声明式配置，一键部署和管理 KubeFlow 环境
A declarative KubeFlow Management Tool
redb-open
开源
统一接入多数据库，实时迁移复制，为AI和大规模数据而生。
Distributed data mesh for real-time access, migration, and replication across divers···
awesome-sagemaker
开源
一站式收藏 SageMaker 精华资源，快速上手少走弯路
A curated list of references for Amazon SageMaker
x-stable-diffusion
开源
把 Stable Diffusion 推理压到 0.88 秒，实时出图不是梦。
Real-time inference for Stable Diffusion - 0.88s latency. Covers AITemplate, nvFuser···
BYOKEY
开源
把 AI 订阅变成标准 API，让编程工具直接调用
Turn AI subscriptions into standard API endpoints. OpenAI & Anthropic compatible gat···