llm-inference 第 4 页

本站收录 152 个带「llm-inference」标签的 AI 开源项目（按 GitHub 星标从高到低，第 4 / 4 页）

llmtracellmtrace 是一个零代码的 LLM 安全与可观测性代理，专为 OpenAI 兼容 API 设计。它作为中间层，实时拦截并分析请求与响应，提供提示注入检测、★ 54vllm-chatterbox-streamvllm-chatterbox-stream 是一个基于 vLLM 推理引擎的多语言文本转语音（TTS）服务，兼容 OpenAI API 接口，支持实时 PCM★ 8

相关标签

llm3624large-language-models1066ai2906llmops236vllm106llm-serving39local-llm167self-hosted559rag1238llama251pytorch634python1673