client
官方多语言客户端，让应用直接调用 Triton 推理服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-08 · 当前星标 ★ 702
核心亮点
- 官方维护，与 Triton 服务端版本严格配套，协议兼容性有保障
- 覆盖 Python/C++/Java 主力语言，并提供 Go、Scala 的 gRPC 生成示例
- 支持 gRPC 流式推理与共享内存，适合高吞吐、低延迟的在线推理场景
不足之处
- 客户端 API 偏底层，需自行封装重试、连接池、超时等工程逻辑
- 非主流语言（如 Go、Scala）仅提供生成示例，缺少完整封装与文档
适用场景
- 在线推理服务：业务后端以 Python/C++ 客户端调用 Triton 部署的模型
- 高吞吐批处理：通过 gRPC 流式与共享内存提升张量传输效率
- 多语言微服务架构：Java 服务直接接入统一推理平台
替代项目
triton-inference-server/server、kserve/kserve、triton-inference-server/pytriton
同类项目推荐
ai-optimizer
开源
在 Oracle 数据库上快速调优 RAG 和 NL2SQL 实验
Agentic Optimizer and Toolkit for experimentation using the Oracle AI Database
VibeGuard
开源
用1%内存开销，在AI对话前自动脱敏，守住隐私底线
Uses just 1% memory while protecting 99% of your personal privacy.
spellbook-docker
开源
一条命令拉起本地多模型AI全家桶
AI stack for interacting with LLMs, Stable Diffusion, Whisper, xTTS and many other A···
vllm-jev
开源
让 Jev 决策模型直接用 vLLM 跑起来
Native vLLM serving for Jev decision models
vLLM-Hook
开源
给 vLLM 装上状态探针，编程控制模型内部，实现监控与干预。
Repo for vLLM Hook, an vLLM plug-in for programming internal states of models deploy···
Awesome-LLMOps
开源
一站式找齐 LLMOps 工具，告别选型大海捞针
An awesome & curated list of best LLMOps tools.
pandaprobe
开源
给 AI Agent 装上追踪和评测，调试不再靠猜
open source agent engineering platform: traces, evals, and metrics to debug and impr···
dola-render-gateway
开源
统一调度视频生成任务，让并发请求不打架
High-performance video generation gateway and session coordinator
MagiCompiler
开源
插上就快，视频生成模型推理训练免费提速
A plug-and-play compiler that delivers free-lunch optimizations for both inference a···