KsanaLLM
C++ 高性能 LLM 推理引擎，把并发吞吐压榨到极致
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 553
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 服务器级显卡
- 容器环境
- 模型权重
安装与启动步骤
-
1看硬件要求
面向服务器级显卡的推理引擎，先确认卡型。
-
2用镜像起
官方镜像里环境都配好了，最省事。
docker run -itd --name ksana --network host --shm-size=10g --privileged --gpus all -v /data1:/data1 ksana-image /bin/bash -
3编或装
要自己编就按仓库的构建说明。
cmake -DSM=86 -DWITH_TESTING=ON .. && make -j32 -
4跑一次推理
先用小模型验证链路。
-
5量吞吐
对比同硬件上的通用推理框架。
如何确认成功
在目标硬件上起服务后能稳定输出，吞吐达到官方基准的同一量级
注意事项
- 它是推理引擎，不是模型。
- 编译选项与显卡架构强相关，选错跑不起来。
- 容器方式要开特权模式，注意安全边界。
- 文档偏内部风格，先照抄示例。
核心亮点
- C++ 实现，运行时开销低，便于做细粒度性能调优
- 支持连续批处理与 KV Cache 管理，提升 GPU 利用率和并发吞吐
- 面向生产推理场景设计，适合深度定制调度与资源控制
不足之处
- 早期项目，文档与生态相对不完善
- 模型与硬件适配范围、社区案例仍需时间验证
适用场景
- 高并发在线 LLM 推理服务
- 对延迟和吞吐敏感的私有化部署
- 需要深度定制调度策略的推理平台
替代项目
vLLM、TensorRT-LLM
同类项目推荐
bex
开源
Git push 即部署，让 AI 智能体成为你的运维搭档。
The open-source Render alternative — AI-native. Git push → build → deploy on your···
mxcp
开源
把企业数据安全接入大模型，让 AI 直接查数分析
Model eXecution + Context Protocol: Enterprise-Grade Data-to-AI Infrastructure
CliRelay
开源
自建 AI 网关，统一管理编码 CLI 的模型调用与花费。
Self-hosted AI gateway for coding CLIs — one OpenAI/Claude/Gemini/Codex-compatible ···
MinerU
开源
把 PDF/Word 一键转成 AI 能读懂的 Markdown，让文档直接喂给大模型。
Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON ···
scalax
开源
让 JAX 程序轻松跑满多卡，分布式训练不再复杂。
A simple library for scaling up JAX programs
medharness
开源
给医院大模型流量装上合规闸门，防泄露、可审计、控成本。
让医疗机构所有大模型流量：PHI 不外泄 · 模型走白名单 · 全量可审计 · 成本可控。
project-maya
开源
本地跑 321B MoE 大模型，单卡到 16 卡，兼容 OpenAI 接口
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and···
GoModel
开源
用 Go 统一管理 AI 模型，智能路由、成本可控、生产可用。
AI gateway / AI control plane / AI proxy written in Go. Unified OpenAI-compatible an···
trench
开源
一条命令部署，快速搭建产品分析平台
Trench — Open-Source Analytics Infrastructure. A single production-ready Docker ima···