llm-scaler
让大模型推理更快更省显存，本地部署也能跑得动
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 587
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Intel 专业显卡
- Linux 环境
- 显卡驱动
安装与启动步骤
-
1确认显卡
针对 Intel 的专业级显卡做的优化，消费卡不适用。
-
2装驱动与运行时
先把显卡驱动和计算运行时装对，版本按文档。
-
3选一条路走
推理、图像生成、服务框架三条子路径，各装各的。
-
4拉模型跑基准
先用仓库给的脚本验证吞吐，别急着上业务。
-
5接进服务
稳定后再按框架方式常驻。
如何确认成功
跑通基准脚本后能拿到每秒生成 token 数的实际数字，并与仓库给的参考值处于同一量级
注意事项
- 面向 Intel 显卡的加速栈，不是通用方案。
- 三条子路径依赖不同，别混装在一个环境里。
- 文档给的是参考性能，实际受显存与批大小影响很大。
- 遇到驱动问题优先核对版本矩阵，别盲升级。
核心亮点
- C++ 底层实现，推理开销低，适合对延迟敏感的生产环境
- 聚焦量化与 KV Cache 优化，能显著降低显存占用、提升长上下文吞吐
- 面向多卡与消费级硬件，降低私有化部署的硬件门槛
不足之处
- 早期项目，API 和功能可能频繁变动，稳定性待验证
- 文档与社区生态尚不完善，接入和排错成本较高
适用场景
- 在单张消费级显卡上部署 7B/13B 模型并提升生成速度
- 多卡环境下做张量并行推理，提高 token 吞吐
- 长上下文对话或文档问答场景中优化 KV Cache 显存占用
替代项目
llama.cpp、vLLM
上一篇：llmman
下一篇：vLLM-Kunlun
同类项目推荐
ax-llm
开源
把大模型塞进爱芯芯片，OpenAI 接口即插即用
Explore LLM model deployment based on AXera's AI chips, It provides OpenAI‑compatib···
medharness
开源
给医院大模型流量装上合规闸门，防泄露、可审计、控成本。
让医疗机构所有大模型流量：PHI 不外泄 · 模型走白名单 · 全量可审计 · 成本可控。
asmjit
开源
运行时直接生成原生机器码，低延迟 JIT 的底层引擎
Low-latency machine code generation
datapizza-ai
开源
快速搭建可靠生成式 AI 应用，省去基础设施烦恼。
Build reliable Gen AI solutions without overhead
nano-vllm-prefillonly
开源
砍掉解码只留 prefill，判别式大模型推理更快更省
A specialized optimization of nano-vllm for prefill-only inference tasks, designed f···
Claude-API
开源
用 Python 快速接入 Claude 对话能力
This project provides an unofficial API for Claude AI, allowing users to access and ···
OpenGPT
开源
免费封装 GPT API，几行代码接入智能对话
OpenGPT 3.5/4 is a project aimed at providing practical and user-friendly APIs. The ···
vllm-backport
开源
让旧显卡也能跑新版 vLLM 推理
Dogfooding vLLM backport for older GPUs.
FreeToken
开源
在桌面端跑起数据中心级大模型，又快又省资源
FreeToken brings datacenter-scale model serving to your desktop. Run massive models ···