项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 286
核心亮点
- 提供开箱即用的 NIM 部署脚本，大幅缩短环境配置时间
- 深度整合 AI Workbench，支持跨环境一致开发体验
- 附带多种主流框架集成示例，降低学习曲线
不足之处
- 依赖 NVIDIA 专有生态，非 NVIDIA 用户无法使用
- 早期项目，文档和社区支持尚不完善
适用场景
- 企业快速搭建生成式 AI 原型验证
- 开发者本地调试 NIM 微服务
- 跨云与边缘环境统一部署 AI 推理服务
替代项目
vLLM、Ollama、LocalAI
上一篇：llmdocparser
下一篇：YourMemory
同类项目推荐
FlexLLMGen
开源
单卡跑大模型，吞吐量翻倍，省钱又高效
Running large language models on a single GPU for throughput-oriented scenarios.
open-connector
开源
一键连接千款 SaaS，让 AI 智能体轻松调用外部工具
Open-source auth gateway connecting 1500+ SaaS providers to AI agents through SDK, C···
datapizza-ai
开源
快速搭建可靠生成式 AI 应用，省去基础设施烦恼。
Build reliable Gen AI solutions without overhead
stock-sdk
开源
前端免后端，一行代码接入A股实时行情
为前端设计的无需 Python、无需后端服务、零依赖的获取股票数据 JavaScript SDK。
gollama
开源
命令行一键管理 Ollama 模型，告别繁琐操作
Go manage your Ollama models
sbx-releases
开源
给 AI 编码代理一个隔离沙箱，随便跑不伤本机
Docker Sandboxes run AI coding agents in isolated environments on your machine or on···
vllm-backport
开源
让旧显卡也能跑新版 vLLM 推理
Dogfooding vLLM backport for older GPUs.
distributed-llama
开源
把家里闲置设备组集群，跑大模型更快更省
Distributed LLM inference. Connect home devices into a powerful cluster to accelerat···
LLM-API-Key-Proxy
开源
一个 API 接入所有大模型，自动切换密钥和负载均衡
Universal LLM Gateway: One API, every LLM. OpenAI/Anthropic-compatible endpoints wit···