inference-server
本站收录 10 个带「inference-server」标签的 AI 开源项目
omlxomlx 是一个专为 Apple Silicon 打造的 LLM 推理服务器，通过 macOS 菜单栏应用进行管理。它解决了在 Mac 上运行大模型时显存不足、★ 23,010
Rapid-MLXRapid-MLX 是一个专为 Apple Silicon 芯片打造的高性能本地 AI 推理引擎，旨在解决 Mac 上运行大模型速度慢、工具调用支持差的问题。它★ 4,019
siesie 是一个开源的推理服务器和生产级集群，专为智能体（agent）所需的各类模型提供统一部署和调度。它解决了多模型、多副本在生产环境中难以统一管理的问题，提供★ 3,435
ramalamaRamaLama 是一个开源开发者工具，旨在简化 AI 模型的本地部署与推理流程。它通过容器化技术，让开发者能够从任何来源（如 HuggingFace、Olla★ 3,088
inferenceinference 是一个将任何计算机或边缘设备转变为计算机视觉项目指挥中心的开源工具。它解决了视觉模型从开发到生产部署的复杂性问题，提供统一的推理 API，支★ 2,480
vllm-mlxvllm-mlx 是一个专为 Apple Silicon 芯片设计的开源推理服务器，兼容 OpenAI 和 Anthropic API 协议。它解决了在 Mac★ 1,635
trussTruss 是一个用于在生产环境中部署 AI/ML 模型的 Python 开源框架，旨在简化模型服务的流程。它解决了从模型训练到实际部署之间的复杂工程问题，让开★ 1,223
TurboOCRTurboOCR 是一个基于 C++ 实现的高性能 OCR 服务，专为追求极致吞吐量的场景设计。它集成了百度飞桨的 PP-OCRv6 模型，并利用 Tensor★ 1,141
pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 330
podman-desktop-extension-ai-lab这是一个 Podman Desktop 扩展，目标是把本地大模型运行所需的一整套组件（模型文件、推理服务器、容器编排）打包成图形化工作流。用户无需手写 comp★ 301