sglang

让大模型服务更快更省，复杂提示词场景吞吐翻倍

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 10273 🐛 待处理 6494 👀 关注 183

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 38587

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队sgl-project

官网地址https://sglang.io

GitHubhttps://github.com/sgl-project/sglang

定价模式🏷️完全免费

价格说明开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型attention,blackwell,cuda,deepseek,diffusion,glm,gpt-oss,inference,llama,llm,minimax,moe,qwen,qwen-image,reinforcement-learning,transformer,vlm,wan

GitHub 星标★ 38587

上线时间2024-01-08 00:00:00

代码更新2026-11-09

仓库体积502.5 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数6

项目介绍

SGLang 是一个高性能的大语言模型和多模态模型服务框架，旨在解决 LLM 推理服务中吞吐量低、延迟高、显存利用率不足等问题。它通过 RadixAttention 技术自动复用 KV-Cache，显著提升前缀共享场景（如多轮对话、Few-shot 提示）的推理效率；提供前端语言 SGLang 原生支持结构化输出、并行采样、约束解码等复杂控制流，简化了应用开发。后端则利用连续批处理、PagedAttention 等优化，支持 Llama、Qwen、DeepSeek 等多种主流模型，并兼容 OpenAI API 协议，可无缝替换现有服务。核心能力在于极致的推理性能优化和灵活的编程接口，适合高并发、长上下文的在线服务场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 38587

技术标签

attention cuda deepseek diffusion glm

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 15 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目主要开发语言为 Python）
可用的 GPU/CUDA 或 TPU 硬件环境（项目针对 CUDA、Blackwell、TPU 做了优化）
能够访问 docs.sglang.io 官方文档以获取安装细节

安装与启动步骤

1阅读安装文档

README 的 Getting Started 只给出链接，请打开 Install SGLang 文档，按官方指引选择并完成安装。
2跑通快速开始

按 Quick Start（send_request）文档中的示例发起一次请求，确认服务能正常返回结果。
3了解 OpenAI 兼容

阅读 Backend Tutorial 中的 OpenAI API 文档，了解如何用兼容协议调用服务。
4学习前端语言

阅读 Frontend Tutorial，掌握结构化输出、并行采样等 SGLang 前端用法。
5查阅贡献指南

如需改代码或提 PR，按 Contribution Guide 文档中的流程参与社区贡献。

如何确认成功

按官方 Quick Start 文档中的示例成功发出请求并拿到模型返回结果，即表示环境可用。

常见问题

Q：README 里没有安装命令怎么办？

A：本页 Getting Started 只提供链接，具体安装步骤请以官方 Install SGLang 文档（docs.sglang.io/get_started/install.html）为准。

Q：如何用 OpenAI API 协议调用？

A：参考 Getting Started 中的 Backend Tutorial，对应文档为 docs.sglang.io/basic_usage/openai_api_completions.html。

Q：前端语言怎么上手？

A：查看 Frontend Tutorial，文档地址 docs.sglang.io/references/frontend/frontend_tutorial.html。

Q：支持哪些模型？

A：README News 中列出了 Kimi K3、GLM5.2、Nemotron 3 系列、Higgs Audio 等最新开源模型的 day-0 支持。

注意事项

README 节选未包含任何安装命令，本教程步骤仅为官方文档指引，切勿凭猜测执行未验证的命令。
项目官网为 https://sglang.io，文档为 https://docs.sglang.io，Slack 为 https://slack.sglang.io。
遇到问题可加入 Slack 或参加每周开发者会议获取帮助。