inference-engine
本站收录 33 个带「inference-engine」标签的 AI 开源项目
Halfrost-FieldHalfrost-Field 是一个以 Go 语言为主的技术博客与知识库,由作者 Halfrost 维护,内容涵盖源码深度解析、系统设计与工程实践。项目以系列文★ 13,257
kimi-k3-in-ckimi-k3-in-c 是一个用纯 C99 语言实现的 Kimi K3 模型推理引擎,它声称能在单颗 CPU 上、仅用 8.24 GB 内存运行一个 2.78★ 12,104
FedMLFedML 是一个统一且可扩展的机器学习库,专注于大规模分布式训练、模型服务和联邦学习。它提供跨云调度器 FedML Launch,支持在任意 GPU 云或本地★ 4,069
luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器,用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是:在非数据中★ 3,007
zero-to-sglangzero-to-sglang 是 SGLang 官方与 Datawhale 联合推出的 LLM 推理学习课程,面向想深入理解大模型推理引擎的开发者。它解决的是「★ 2,140
kvcachedkvcached 是一个面向大语言模型推理场景的虚拟化弹性 KV 缓存管理框架,核心目标是解决多模型、多租户共享 GPU 时 KV 缓存资源利用率低、隔离性差的★ 2,041
sonarsonar 是一个面向大规模 LLM 推理场景的高性能引擎,用 C++ 编写,旨在解决大模型部署时的高延迟、低吞吐和硬件适配问题。它支持多种硬件后端,包括 NV★ 1,913
nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎,旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备(如手机、嵌入式设备)上部署 ★ 1,676
xllmxllm 是一个高性能推理引擎,专为大型语言模型(LLM)、视觉语言模型(VLM)、扩散变换器(DiT)和 REC 模型设计,并针对多种 AI 加速器进行优化。★ 1,622
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo(gfx1151)平台的本地大模型推理部署脚本,目标是让用户以最快速度在搭载该★ 1,353
PolyStrataPolyStrata 是一个用 C++ 编写的本地大模型推理引擎,目标是在个人电脑上直接运行多种主流开源大模型。项目包含两套引擎:一套基于 Strata 引擎运★ 1,056
mlxstudioMLX Studio 是一个专为 Apple Silicon Mac 设计的本地 AI 一体化工作台,集成了图像生成/编辑与聊天/代码功能。它基于 MLX 框架★ 991
SavantSavant 是一个基于 Python 的计算机视觉与视频分析框架,构建在 NVIDIA DeepStream 和 CUDA 之上,目标是让开发者用声明式 YA★ 869
pegainferpegainfer 是一个用纯 Rust 编写的 LLM 推理引擎,底层直接调用 CUDA 内核,不依赖 PyTorch 或任何 Python 运行时。它解决的★ 742
janasjanas 是一个纯 C 编写的本地大模型推理引擎,核心目标是让超出内存容量的模型也能在普通笔记本上高效运行。它通过把权重放在 NVMe 存储上并按需流式加载,★ 713
TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎,专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 679
slotstreamslotstream 是一个面向 Apple Silicon Mac 的原生本地大模型推理引擎,用 Swift 编写,基于 MLX 与 Metal 加速。它解决★ 673
OpenArcOpenArc 是一个面向英特尔硬件(CPU、核显、Arc 独显)的推理引擎,基于 OpenVINO 工具链构建,目标是在没有 NVIDIA GPU 的机器上也★ 549
krasisKrasis 是一个混合 LLM 运行时,专注于在消费级显存受限的硬件上高效运行更大的模型。它通过将模型层智能卸载到 CPU/内存,并利用 GPU 加速关键计算★ 530
StartLux-PrismStartLux-Prism 是面向 StartLux-Decision 决策模型的 GPU 推理引擎,重点解决这类模型在通用推理框架下延迟偏高、量化后结果不一★ 526
FlideFlide 是一个面向决策模型的极速推理引擎,用 Python 编写,主打确定性推理与低延迟。它针对决策类场景(如规则判断、策略选择、智能体决策)优化推理路径,★ 506
audio.cpp-webuiaudio.cpp-webui 是一个基于 ggml 的纯 C++ 音频模型推理引擎,为 audio.cpp 提供全任务 WebUI。它支持语音合成(TTS)、★ 432
MoE-InfinityMoE-Infinity 是一个基于 PyTorch 的开源库,旨在高效、低成本地服务混合专家(MoE)大语言模型。它解决了 MoE 模型因参数量巨大、推理时显★ 383
swiftLLMswiftLLM 是一个极简但高性能的 LLM 推理系统,专为研究目的设计。它用仅约 2000 行 Python 代码实现了与 vLLM 相当的性能,代码量仅为★ 364
vllm-rltvllm-rlt 是一个受 vLLM 启发的推理引擎,专门面向循环 Transformer(looped transformer)架构。传统推理引擎通常按层或按★ 227
MIVisionXMIVisionX 是 AMD 推出的开源计算机视觉工具包,核心是符合 Khronos OpenVX 1.3.2 规范的高度优化实现。它主要解决在 AMD 硬件★ 218
NekoSpeakNekoSpeak 是一款面向 Android 的本地离线 AI 语音合成应用,支持 Kokoro、KittenTTS、Pocket-tts 和 Piper 等★ 203
vLLM-HookvLLM-Hook 是一个针对 vLLM 推理引擎的插件,允许开发者编程访问和修改模型在推理过程中的内部状态。它解决了 vLLM 默认黑盒推理、难以干预中间层输★ 172
paddockpaddock 是一个用 Rust 编写的原生推理服务器,面向在 NVIDIA 与 Apple Silicon 上运行开放模型。它要解决的问题是:现有推理服务往★ 164
qwen3-ttsqwen3-tts 是一个纯 C 语言实现的 Qwen3-TTS 文本转语音推理引擎,旨在摆脱 Python 和 PyTorch 的依赖,仅用 C 和 BLAS★ 137
hummingbirdhummingbird 是一个轻量级、零依赖的 C 语言运行时,专为大规模开源混合专家(MoE)语言模型设计。它通过统一 SSD、RAM 和 VRAM 为单一智★ 66
tinylmtinylm 是一个基于浏览器的机器学习推理框架,采用 TypeScript 编写,提供 OpenAI 兼容的 API 接口,让开发者能在浏览器端直接运行 De★ 60