KsanaLLM
C++ 高性能 LLM 推理引擎，把并发吞吐压榨到极致
KsanaLLM 是一个用 C++ 编写的大语言模型推理基础设施，目标是提供高吞吐、低延迟的 LLM 服务能力。它解决的是在生产环境中部署大模型时，通用推理框架在并发、显存利用和调度效率上不够极致的问题。核心能力包括对主流开源模型（如 Llama 系）的推理支持、连续批处理（continuous batching）以提升 GPU 利用率、KV Cache 管理与分页/复用机制、以及面向多并发请求的调度优化。项目以 C++ 实现，强调性能与资源控制，适合对推理延迟和吞吐有较高要求、且希望深度定制调度策略的团队。作为早期项目，它更偏向底层引擎，而非开箱即用的完整平台，需要一定工程能力进行集成和调优。
开源
free
基础设施
GitHub 星标
★ 550
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队Tencent
所属国家
定价模式free
价格说明开源免费，定价信息待确认
访问状态
是否开源是
开源协议NOASSERTION
主要语言C++
技术栈/模型
GitHub 星标★ 550
30天Star增速
HF 下载量
上线时间2024-05-22 00:00:00
最近更新2026-09-11 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0
使用教程
核心亮点
- C++ 实现，运行时开销低，便于做细粒度性能调优
- 支持连续批处理与 KV Cache 管理，提升 GPU 利用率和并发吞吐
- 面向生产推理场景设计，适合深度定制调度与资源控制
不足之处
- 早期项目，文档与生态相对不完善
- 模型与硬件适配范围、社区案例仍需时间验证
适用场景
- 高并发在线 LLM 推理服务
- 对延迟和吞吐敏感的私有化部署
- 需要深度定制调度策略的推理平台
替代项目
vLLM、TensorRT-LLM
项目介绍
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···