inference 第 2 页

本站收录 123 个带「inference」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 3 页）

rtp-llmRTP-LLM是阿里巴巴开源的高性能大语言模型推理引擎，旨在为多样化的应用场景提供低延迟、高吞吐的推理服务。它解决了LLM在生产环境中部署时面临的性能瓶颈和资源★ 1,365budgetmlbudgetml 是一个面向预算有限场景的机器学习推理服务部署工具，旨在让开发者用不到 10 行代码就能将模型部署为可用的推理服务。它解决了传统 ML 部署中配★ 1,345EmbedAnythingEmbedAnything 是一个基于 Rust 构建的高性能、模块化、内存安全的向量嵌入与索引引擎，专为生产环境设计。它解决了传统 Python 嵌入库在性能★ 1,317kvpresskvpress 是一个专注于大语言模型（LLM）KV 缓存压缩的 Python 库，旨在让 KV 缓存压缩变得简单易用。它解决了长上下文推理中 KV 缓存占用大★ 1,233tiny-vllmtiny-vllm 是一个用 C++ 与 CUDA 从零实现的高性能 LLM 推理引擎教学项目，定位为 vLLM 的精简版。它解决的核心问题是：主流推理框架（如★ 1,158mlxstudioMLX Studio 是一个专为 Apple Silicon Mac 设计的本地 AI 一体化工作台，集成了图像生成/编辑与聊天/代码功能。它基于 MLX 框架★ 986layaLaya 是一个开源的系统 1 决策模型，兼容 Jev 接口，通过 ONNX Runtime 在 Node.js/TypeScript 环境中本地运行推理。它解★ 971StartLux-DecisionStartLux-Decision 是一组带类型约束的决策模型，参数规模覆盖 0.8B 到 35B-A3B（MoE 架构），支持文本与图像输入，上下文长度达 2★ 907bark.cppbark.cpp 是一个将 Suno AI 的 Bark 文本转语音模型用 C/C++ 重新实现的开源项目，基于 ggml 推理引擎，无需 Python 环境和★ 869SwiftLMSwiftLM 是一个面向 Apple Silicon 的原生 MLX Swift 大模型推理服务器，目标是把本地 LLM 推理做成可直接调用的 OpenAI ★ 784APTAPT 是一个开源的 AI 生产力工具，旨在通过本地化部署和隐私保护提升用户效率。它内置了 ChatGPT、DeepSeek、Phi、Qwen 等模型的本地专属★ 772onepanelOnePanel 是一个开源的端到端计算机视觉平台，旨在统一标签标注、模型构建、训练、调优、部署和自动化流程。它解决了计算机视觉项目从数据标注到模型上线的全生命★ 733pegainferpegainfer 是一个用纯 Rust 编写的 LLM 推理引擎，底层直接调用 CUDA 内核，不依赖 PyTorch 或任何 Python 运行时。它解决的★ 722vidurVidur 是微软开源的 LLM 推理系统模拟器，用于在无需真实 GPU 集群的情况下，大规模、精确地评估大模型推理服务的性能表现。它通过建模算子级计算、显存占★ 703timbertimber 是一个面向经典机器学习模型的高性能推理编译器，定位为“Ollama for classical ML models”。它通过 AOT（Ahead-★ 689BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE（混合专家）大模型跑在内存不足设备上的推理方案，核心思路是流式加载专家权重：模型的总参数量可以远超设备 RAM，但每次★ 640distill-sddistill-sd 是 Segmind 推出的扩散模型蒸馏工具集，专注于将大型 Stable Diffusion 模型蒸馏为更小、更快的版本，同时尽量保留生成★ 620pooledpooled 是一个在浏览器中实现点对点大模型推理的开源项目。它把多台设备（笔记本、台式机、手机等）通过 WebRTC 连接成一个分布式推理集群，利用 WebG★ 601TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎，专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 596x-stable-diffusionx-stable-diffusion 是一个专注于 Stable Diffusion 实时推理加速的开源项目，目标是将延迟降低至 0.88 秒。项目集成了多种主★ 556aikitaikit 是一个面向开源大语言模型的轻量级工具链，旨在简化 LLM 的微调、构建和部署流程。它解决了开发者在使用开源模型（如 Llama、Gemma 等）时面★ 539JetStreamJetStream 是一个面向 XLA 设备（当前以 TPU 为主，未来计划支持 GPU）的 LLM 推理引擎，专注于提升吞吐量和优化内存使用。它解决了在 TP★ 470KIVIKIVI 是一个针对大语言模型 KV Cache 的免调优非对称 2bit 量化工具，由 ICML 2024 论文提出。它解决的是长上下文场景下 KV Cach★ 436llm-d-routerllm-d-router 是 llm-d 项目中的智能推理入口组件，用 Go 编写，基于 Kubernetes Gateway API 构建。它解决的是大模型推★ 424super-ragsuper-rag 是一个面向 AI 应用的高性能 RAG（检索增强生成）管道库，旨在简化构建复杂检索系统的流程。它通过一个统一的 API 整合了文档摘要、检索★ 391swiftLLMswiftLLM 是一个极简但高性能的 LLM 推理系统，专为研究目的设计。它用仅约 2000 行 Python 代码实现了与 vLLM 相当的性能，代码量仅为★ 361xview-yolov3xview-yolov3 是一个基于 YOLOv3 的遥感卫星图像目标检测项目，专为 xView 数据集和检测挑战赛设计。它解决了卫星图像中目标尺度小、背景复杂★ 348MagiCompilerMagiCompiler 是一个面向视频生成模型的即插即用编译器，旨在为推理和训练提供免费的性能优化。它解决了视频生成模型在部署和训练过程中计算开销大、效率低的★ 334WorldFoundryWorldFoundry 是一个面向世界模型（World Model）的统一推理与评估基础设施，旨在解决视频生成、视觉-语言-动作（VLA）及世界动作模型（WA★ 321llmazllmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama 等主流推理引擎统一纳★ 315flamaflama 是一个面向预测式与生成式 AI 的生产级框架，旨在让开发者以极简方式将任意模型快速部署为 API。它解决了模型服务化过程中配置复杂、接口不统一、缺乏★ 304aituneNVIDIA AITune 是英伟达推出的推理调优工具包，面向深度学习模型在 NVIDIA GPU 上的部署与性能优化。它要解决的问题是：同一个模型在不同 GP★ 289TurboLLMTurboLLM 是一个面向本地大模型推理的基础设施工具，用 TypeScript 编写，目标是让任何人都能在自己的显卡上跑起任意本地 LLM 引擎。它自动检测★ 285openmodelzopenmodelz 是一个面向 LLM 推理场景的自动伸缩基础设施，基于 Kubernetes 构建，支持 vLLM、SGLang、LMDeploy 等主流推★ 283KokoroSharpKokoroSharp 是一个基于 C# 和 ONNX Runtime 的本地 TTS（文本转语音）推理引擎，专注于为 .NET 开发者提供即插即用的语音合成能★ 248llm7.ioLLM7.io 是一个用 TypeScript 编写的开源 API 网关，旨在统一接入多家 AI 提供商的模型接口。它解决了开发者需要为不同大模型服务商分别集成★ 243LLMKubeLLMKube 是一个 Kubernetes Operator，用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是：家里或公司机房里混着 NVIDI★ 241MIVisionXMIVisionX 是 AMD 推出的开源计算机视觉工具包，核心是符合 Khronos OpenVX 1.3.2 规范的高度优化实现。它主要解决在 AMD 硬件★ 218pocketgroqPocketGroq 是一个 Python 库，旨在简化 Groq API 的集成，让开发者能快速构建基于大语言模型的对话、推理和自动化代理应用。它解决了直接调★ 216LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架，旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 207isaac_ros_object_detectionisaac_ros_object_detection 是 NVIDIA 为 ROS 2 生态提供的图像空间目标检测加速包，属于 Isaac ROS 系列。它把深★ 205ML-Model-CIMLModelCI 是一个面向机器学习服务的 MLOps 平台，旨在打通模型训练与线上部署之间的断层。它提供模型管理、格式转换、性能剖析和自动部署等一站式能力，★ 198NeMo-Speech.cppNeMo-Speech.cpp 是一个基于 ggml 的轻量级 C++ 推理运行时，专门用于运行 NVIDIA NeMo 系列语音模型，覆盖语音识别（ASR）与★ 194gateway这是一个已弃用的AI网关项目，旨在为构建生产级AI应用提供核心基础设施。它作为统一入口，处理对各类AI模型的请求路由、负载均衡、API密钥管理与访问控制等，解决★ 162d3LLMd3LLM 是一个基于扩散模型的超快大语言模型，旨在解决传统自回归 LLM 生成速度慢的问题。它通过将扩散生成范式引入语言建模，实现并行解码，显著提升推理吞吐量★ 157keda-gpu-scalerkeda-gpu-scaler 是一个基于 KEDA 外部 gRPC 扩展器的 GPU 自动扩缩容组件。它通过 DaemonSet 方式在每个节点上运行，直接利★ 136paddockpaddock 是一个用 Rust 编写的原生推理服务器，面向在 NVIDIA 与 Apple Silicon 上运行开放模型。它要解决的问题是：现有推理服务往★ 136RWKV_APPRWKV_APP 是一个基于 Flutter 构建的跨平台本地优先聊天应用，支持 Android、iOS、Windows、macOS 和 Linux。它旨在为 ★ 131TinyGPTTinyGPT 是一个从零开始用 C++ 实现的轻量级大语言模型推理引擎，旨在提供极简、无依赖的 LLM 推理方案。它解决了在资源受限环境（如边缘设备、嵌入式系★ 131isaac_ros_image_segmentationisaac_ros_image_segmentation 是 NVIDIA 推出的 ROS2 语义分割加速包，基于 TensorRT 和 GPU 推理，为 Je★ 128

相关标签

llm3432ai2792pytorch605mlops445vllm87machine-learning904cuda96transformer152deep-learning815model-serving44llama249llm-inference133