项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 290
核心亮点
- 官方出品,与 TensorRT、Torch-TensorRT、ONNX Runtime 等 NVIDIA 推理栈深度打通
- 把后端、精度、批大小等参数搜索自动化,减少手工试错
- 面向部署环节,调优结果可直接用于生产推理服务
不足之处
- 项目处于早期,星标仅 284,生态与案例积累有限
- 强绑定 NVIDIA GPU 与自家技术栈,非 N 卡或异构环境不适用
适用场景
- 在 A100/H100 上为大模型推理寻找最优批大小与精度组合
- 把 PyTorch 训练好的模型自动转成高性能 TensorRT 推理引擎
- 多 GPU 部署前做吞吐与延迟的自动化基准调优
替代项目
TensorRT、ONNX Runtime、OpenVINO
同类项目推荐
genai-fullstack-blueprint
开源
一套TypeScript全栈骨架,快速搭建多模态AI应用前后端。
Full-stack reference architecture for multimodal GenAI apps: Angular client plus Nod···
GPTRouter
开源
一个接口管所有大模型,自动切换保稳定,响应提速不宕机。
Smoothly Manage Multiple LLMs (OpenAI, Anthropic, Azure) and Image Models (Dall-E, S···
babylog
开源
生产环境轻量记录图像和预测,快速排查模型问题
A lightweight logger for machine learning teams to log images and predictions in pro···
paritok-4b-v1
开源
给编码问答先瘦身,速度翻倍还无损
Non-destructive compression gateway for AI coding agents. Cuts token bills 25% on tu···
stock-sdk
开源
前端免后端,一行代码接入A股实时行情
为前端设计的无需 Python、无需后端服务、零依赖的获取股票数据 JavaScript SDK。
docker-diffusers-api
开源
把 Stable Diffusion 装进 Docker,一行命令起 REST API,快速集成图像生成。
Diffusers / Stable Diffusion in docker with a REST API, supporting various models, p···
EmbedAnything
开源
用 Rust 打造极速、安全的嵌入与索引流水线,让 AI 应用更快更稳
Highly Performant, Modular, Memory Safe and Production-ready Inference, Ingestion an···
9router
开源
把付费 AI 编程模型换成免费替代,自动切换不限流
Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigr···
AI-Horde
开源
众包算力,免费生成 AI 图片和文字
A crowdsourced distributed cluster for AI art and text generation
