aitune

自动调优 NVIDIA GPU 推理配置,省去手工调参

开源 🏷️完全免费 ✅ 目前可打开 基础设施 🍴 复刻 38 🐛 待处理 25 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 290
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 NVIDIA官方文档工具,免费使用

项目预览

aitune 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队ai-dynamo
定价模式🏷️完全免费
价格说明NVIDIA官方文档工具,免费使用
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-dynamo,deep-learning,inference,nvidia,nvidia-gpu,onnxruntime,tensorrt,torch,torch-tensorrt
GitHub 星标★ 290
上线时间2026-02-25 00:00:00
代码更新2026-11-21
仓库体积18.1 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-10-08
浏览次数4

项目介绍

NVIDIA AITune 是英伟达推出的推理调优工具包,面向深度学习模型在 NVIDIA GPU 上的部署与性能优化。它要解决的问题是:同一个模型在不同 GPU、不同批大小、不同精度下性能差异巨大,开发者往往需要手工反复尝试 TensorRT、ONNX Runtime、Torch-TensorRT 等后端配置,耗时且难以复现。AITune 把这些调优流程自动化,统一封装后端选择、精度(FP16/INT8/FP8)、批处理、并行策略等参数搜索,并输出可直接部署的推理配置。它深度集成 ai-dynamo、Torch-TensorRT 等技术栈,支持从 PyTorch 模型到优化后推理引擎的端到端链路,帮助团队在 NVIDIA 硬件上快速找到吞吐与延迟的较优平衡点,减少手工调参和部署踩坑成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 290

核心亮点

  • 官方出品,与 TensorRT、Torch-TensorRT、ONNX Runtime 等 NVIDIA 推理栈深度打通
  • 把后端、精度、批大小等参数搜索自动化,减少手工试错
  • 面向部署环节,调优结果可直接用于生产推理服务

不足之处

  • 项目处于早期,星标仅 284,生态与案例积累有限
  • 强绑定 NVIDIA GPU 与自家技术栈,非 N 卡或异构环境不适用

适用场景

  • 在 A100/H100 上为大模型推理寻找最优批大小与精度组合
  • 把 PyTorch 训练好的模型自动转成高性能 TensorRT 推理引擎
  • 多 GPU 部署前做吞吐与延迟的自动化基准调优

替代项目

TensorRT、ONNX Runtime、OpenVINO

上一篇:coralnpu

下一篇:edgejs

同类项目推荐

genai-fullstack-blueprint 开源

一套TypeScript全栈骨架,快速搭建多模态AI应用前后端。

Full-stack reference architecture for multimodal GenAI apps: Angular client plus Nod···

★ 92 2026-08-09
GPTRouter 开源

一个接口管所有大模型,自动切换保稳定,响应提速不宕机。

Smoothly Manage Multiple LLMs (OpenAI, Anthropic, Azure) and Image Models (Dall-E, S···

★ 453 2026-08-09
babylog 开源

生产环境轻量记录图像和预测,快速排查模型问题

A lightweight logger for machine learning teams to log images and predictions in pro···

★ 153 2026-08-09
paritok-4b-v1 开源

给编码问答先瘦身,速度翻倍还无损

Non-destructive compression gateway for AI coding agents. Cuts token bills 25% on tu···

★ 1439 2026-08-09
stock-sdk 开源

前端免后端,一行代码接入A股实时行情

为前端设计的无需 Python、无需后端服务、零依赖的获取股票数据 JavaScript SDK。

★ 2005 2026-08-09
docker-diffusers-api 开源

把 Stable Diffusion 装进 Docker,一行命令起 REST API,快速集成图像生成。

Diffusers / Stable Diffusion in docker with a REST API, supporting various models, p···

★ 204 2026-08-09
EmbedAnything 开源

用 Rust 打造极速、安全的嵌入与索引流水线,让 AI 应用更快更稳

Highly Performant, Modular, Memory Safe and Production-ready Inference, Ingestion an···

★ 1334 2026-08-09
9router 开源

把付费 AI 编程模型换成免费替代,自动切换不限流

Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigr···

★ 32686 2026-08-09
AI-Horde 开源

众包算力,免费生成 AI 图片和文字

A crowdsourced distributed cluster for AI art and text generation

★ 1701 2026-08-09