inference 第 3 页
本站收录 123 个带「inference」标签的 AI 开源项目（按 GitHub 星标从高到低，第 3 / 3 页）
monai-deployMONAI Deploy 是 MONAI 项目下的一个开源基础设施，旨在成为医疗 AI 应用在临床生产中开发、打包、测试、部署和运行的事实标准。它解决的是医疗影★ 123
SippSipp 是一个基于 Rust 和 C++ 构建的 WebGPU 推理运行时，目标是在浏览器中直接运行 GGUF 格式的大语言模型。它解决了传统本地推理需要安装★ 121
qwen3-ttsqwen3-tts 是一个纯 C 语言实现的 Qwen3-TTS 文本转语音推理引擎，旨在摆脱 Python 和 PyTorch 的依赖，仅用 C 和 BLAS★ 120
Multi-Model-RVC-InferenceMulti-Model-RVC-Inference 是一个基于 Python 的语音转换推理工具，专注于 RVC（Retrieval-based Voice C★ 117
docker-whisperdocker-whisper 是一个把 Whisper 语音识别服务打包成 Docker 镜像的开源项目，目标是让用户在自己的服务器上快速搭建一套兼容 Open★ 116
websiteKServe 是一个 Kubernetes 原生的模型推理平台，用于标准化服务器模型的部署。该项目是 KServe 的官方用户文档，基于 MDX 编写，旨在帮助★ 113
emmyemmy 是一个面向 LLM 推理的 GPU 编译器优化工具，旨在解决大模型推理性能调优复杂、门槛高的问题。它提供了一系列预置的优化配方，用户可以直接选用，也可★ 111
vector-inferencevector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建★ 110
Rules.txtRules.txt 是一个针对大型语言模型（LLM）的对齐与越狱（jailbreak）研究项目，提供一套指令集，用于审计模型内部推理过程并揭示潜在偏见。它通过精★ 108
SIMURGSIMURG 是一个面向大语言模型流式输出的在线异常检测与防护工具。它解决的核心问题是：LLM 在解码过程中常出现重复循环、语言漂移、乱码等退化现象，而传统方案★ 102
ajeanajean 是一个用 Go 编写的本地 AI 助手，把模型推理、对话、持久记忆、联网搜索、浏览器控制、MCP 工具调用、静态加密和端到端加密远程访问全部打包进单★ 97
infermuxinfermux 是一个用 Go 编写的开源工具，专注于跨云服务提供商的网络路由推断。它解决了在多云或混合云环境中，难以准确判断数据包从源到目的地所经过的网络路★ 95
edge-vedaedge-veda 是一个面向 Flutter 的端侧 AI SDK，旨在让移动和桌面应用直接运行多种 AI 模型，无需依赖云端服务。它解决了开发者在 Flut★ 87
vllm-factoryvllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，★ 86
vox-servevox-serve 是一个面向 TTS（文本转语音）和 STS（语音转语音）模型的流式原生推理服务引擎，用 Python 编写。它解决了生产环境中部署语音模型时★ 79
ray_vllm_inferenceray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可扩展的大模型服务能力。它解★ 79
Higgs_v3-TTS-ComfyUIHiggs_v3-TTS-ComfyUI 是一套专为 ComfyUI 设计的节点，用于集成 Higgs Audio v3 TTS 4B 模型。该模型支持 100★ 74
llmedgellmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、语音识别（STT）和语音合成（TTS）等能力集★ 71
gemma4.javagemma4.java 是一个纯 Java 实现的 Gemma 4 模型推理引擎，旨在为 JVM 生态提供轻量、高效的本地大语言模型运行能力。它解决了 Java★ 70
TorchStreamTorchStream 是一个让 PyTorch 模型支持流式推理的 Python 库。它解决了传统 PyTorch 模型在推理时必须一次性处理完整输入的问题，★ 67
KsanaDiTKsanaDiT 是一个面向视频与图像生成场景的高性能 Diffusion Transformer（DiT）推理框架，专注于解决 DiT 模型在推理阶段计算量大★ 63
tinylmtinylm 是一个基于浏览器的机器学习推理框架，采用 TypeScript 编写，提供 OpenAI 兼容的 API 接口，让开发者能在浏览器端直接运行 De★ 60
dgx-spark-inference-stackdgx-spark-inference-stack 是一个面向 NVIDIA DGX Spark（Grace Blackwell 桌面级 AI 超算）的推理服务★ 52