sglang
本站收录 31 个带「sglang」标签的 AI 开源项目
inferenceXinference 是一个统一推理引擎,旨在解决多模型部署与调用碎片化问题。它允许开发者通过修改一行代码,将 GPT 替换为任何开源大语言模型、语音模型或多模★ 9,656
dynamoDynamo 是面向数据中心规模的分布式推理服务框架,用 Rust 编写,目标是把大语言模型、扩散模型等推理负载组织成可横向扩展的服务集群。它解决单机推理难以支★ 8,491
MooncakeMooncake 是 Moonshot AI 为其 Kimi 大语言模型服务打造的高性能推理平台,核心解决 LLM 服务中的高吞吐、低延迟和成本控制问题。它基于★ 7,043
gpustackgpustack 是一个面向高性能 AI 模型服务的 GPU 集群管理器,专注于简化 vLLM、SGLang 等推理引擎的部署与运维。它解决了 GPU 资源利用★ 6,046
AI-fundamentalsAI-fundamentals 是一个面向 AI 学习者的开源知识库,系统整理了 GPU 架构、CUDA 编程、大模型基础以及 AI Agent 等核心主题。项★ 3,444
zero-to-sglangzero-to-sglang 是 SGLang 官方与 Datawhale 联合推出的 LLM 推理学习课程,面向想深入理解大模型推理引擎的开发者。它解决的是「★ 2,140
kvcachedkvcached 是一个面向大语言模型推理场景的虚拟化弹性 KV 缓存管理框架,核心目标是解决多模型、多租户共享 GPU 时 KV 缓存资源利用率低、隔离性差的★ 2,041
InferenceXInferenceX 是一个开源的持续推理基准研究平台,专注在大规模 LLM 推理场景下做可复现、可持续的性能评测。它把当下主流大模型(如 Kimi、MiniM★ 2,039
local-studioLocal Studio 是一个面向本地大模型推理引擎的图形化控制面板,主要解决在本地部署和运行 VLLM、SGLang、llama.cpp、exllamav3★ 1,846
sglang-omniSGLang-Omni 是一个基于 SGLang 的高性能多模态推理服务框架,专注于语音相关模型(TTS、ASR)及全模态(omni)模型的部署。它解决了传统语★ 1,791
MOSS-TTSDMOSS-TTSD 是一个面向表达性多说话人合成的口语对话生成模型。它解决了传统语音合成在长上下文建模、说话人灵活控制和多语言支持方面的不足,能够从短音频参考中★ 1,422
GPTQModelGPTQModel 是一个面向大语言模型的量化压缩工具包,核心目标是把 FP16/BF16 模型压缩到 4bit、3bit 等低精度格式,从而显著降低显存占用和★ 1,290
SpecForgeSpecForge 是一个面向大模型推理加速的开源训练框架,专门用于训练投机解码(speculative decoding)模型,并支持将训练结果平滑部署到 S★ 1,285
time-to-first-token这是一个为期10周、每天30分钟的LLM推理服务与优化学习路线图。它面向想要系统掌握大模型推理性能调优的开发者,解决从理论到实践缺乏结构化路径的问题。项目核心能★ 1,187
MOVAMOVA 是一个统一的多模态基础模型,能够在一个模型中同时生成同步的视频和音频,解决了传统视频生成中音画分离、需要额外配音或后期对齐的痛点。它基于扩散模型架构,★ 1,144
UniRL腾讯混元开源的统一多模态强化学习框架,支持在多模态场景下训练与优化模型。它提供统一的 RL 流程抽象,帮助研究者和工程师在文本、图像等多模态任务上高效开展强化学★ 1,047
Spark-X2.5Spark-X2.5 是一个面向端侧设备的开源大模型系列,目标是在手机、笔记本等本地硬件上把智能体(Agent)能力推到极限。它解决的核心问题是:云端大模型调用★ 913
smgsmg 是一个用 Rust 编写的引擎无关 LLM 网关,面向需要在多种推理后端之间统一接入与调度的团队。它把 vLLM、TRT-LLM、TokenSpeed、★ 723
MemT-1.0MemT-1.0 是一个面向 AI 智能体的长期记忆开源实现,用 Python 编写,核心目标是解决大模型在多轮、长周期任务中「记不住上下文」的问题。项目围绕记★ 539
omeOME(Open Model Engine)是一个用 Go 编写的 Kubernetes Operator,面向大模型推理服务场景,把模型部署、GPU 调度和模★ 527
matrixhubmatrixhub 是一个用 Go 编写的开源、自托管 AI 模型中心,面向需要在自有基础设施上统一管理大模型资产的团队。它兼容 Hugging Face 的模★ 367
llmazllmaz 是一个面向 Kubernetes 的大模型推理平台,目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama 等主流推理引擎统一纳★ 314
OrbitKVOrbitKV 是一个用 Rust 编写的 KV Cache 存储层,面向 vLLM 与 SGLang 这类大模型推理框架,解决多轮对话、长上下文与高并发场景下★ 283
HyperloomHyperloom 是一个面向 AMD GPU 的智能体系统,用于自动优化大语言模型推理负载。它针对 AMD 硬件生态中算子库与调优工具相对分散、手工调参成本高★ 272
dgx-spark-qwen38dgx-spark-qwen38 是一个面向 NVIDIA DGX Spark 与 ASUS Ascent GX10 这类 GB10 桌面级 AI 硬件的本地部★ 266
gpt_servergpt_server 是一个面向生产环境的 AI 服务部署框架,旨在统一集成多种主流模型能力,包括大语言模型(LLM)、Embedding、Reranker、A★ 254
deepseek-local-guide-ru这是一个俄语版的 DeepSeek 本地部署完整指南,面向希望在个人电脑、Mac 或服务器上离线运行 DeepSeek V4、R1 等模型的用户。项目以 She★ 192
One-EvalOne-Eval 是一个面向大语言模型评测的自动化系统,核心思路是用 agent 来驱动整个评测流程。传统 LLM 评测往往需要人工配置数据集、编写推理脚本、跑★ 166
vector-inferencevector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架,目标是让团队在已有 HPC 调度系统上高效部署大模型推理,而不必额外搭建★ 111
heronHeron 是一个基于 Rust 构建的智能体与 LLM API 性能监控工具,通过网络数据包探测的方式,在服务提供方侧部署,无需修改 SDK 即可测量 Ope★ 104
ReadyLLMReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动、运行监控和参数调优整合到一个图形界面中,底层基于 lla★ 102