ninfer

专卡专模型的单卡推理加速引擎

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 731 🐛 待处理 138 👀 关注 24
GitHub ↗
GitHub 星标 ★ 3393
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无官网定价信息

项目数据

分类基础设施
开发团队Neroued
定价模式🏷️完全免费
价格说明开源免费,无官网定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言C++
GitHub 星标★ 3393
上线时间2026-06-26 00:00:00
代码更新2026-11-18
仓库体积37.7 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

ninfer 是一个用 C++ 编写的高性能单 GPU 推理引擎,面向特定模型检查点与 GPU 型号做深度优化。它要解决的问题是:通用推理框架为了兼容大量模型和硬件,往往引入额外抽象与调度开销,在单卡场景下难以把 GPU 性能吃满。ninfer 的思路是放弃大而全,针对选定的模型权重格式和 GPU 架构手工编写计算内核与内存管理逻辑,从而在单卡上获得更低的延迟和更高的吞吐。核心能力包括:针对特定 checkpoint 的权重加载与布局转换、单 GPU 上的前向计算调度、面向目标硬件的算子优化,以及 C++ 实现带来的低运行时开销和易于嵌入既有服务的特性。它适合对推理延迟敏感、且模型与硬件组合相对固定的部署场景,而不是需要频繁更换模型或跨多卡扩展的通用平台。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 3393

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 60 分钟 部署方式:命令行工具 6 步

环境要求

  • RTX 5090 单卡,或两台 DGX Spark(部分模型需要双机)
  • 已按目标硬件编译完成,存在 build/rtx5090-release/apps/ninfer 可执行文件
  • 符合列表中架构的 .ninfer 模型权重文件
  • 使用 Docker 方式时,宿主机需安装 NVIDIA Container Toolkit
  • Flash Next 的 CPU expert offload 需要较大的系统内存

安装与启动步骤

  1. 1确认硬件与模型

    先核对模型与 GPU 组合在支持表内;Vision 与投机解码要求模型权重文件中包含对应组件。

  2. 2准备本地部署配置

    在项目根目录把对应硬件的示例配置复制为本地配置,再按需调整容量与解码参数。

    cp examples/configs/rtx5090-qwen3_8-27b-nvfp4.toml ninfer.local.toml
  3. 3运行单次推理

    用已编译的 ninfer 程序加载权重跑一条请求,回答写到标准输出,日志与报告写到标准错误。

    ./build/rtx5090-release/apps/ninfer models/qwen3_8_27b_nvfp4.ninfer --prompt "Explain prefill and decode briefly." --max-context 8192 --max-tokens 1024 --kv-dtype fp8
  4. 4启动常驻服务

    改用编辑好的 ninfer.local.toml 启动常驻服务;分布式部署与 worker 启动见部署指南。

  5. 5构建 Docker 镜像

    在项目根目录构建包含 RTX 5090 CLI 与服务端的镜像,宿主机需先装好容器 GPU 支持。

    docker build --tag ninfer:local .
  6. 6以容器启动服务

    只暴露 GPU 0,把本地 models 目录只读挂载进容器并映射 8080 端口启动服务。

    docker run --rm --gpus '"device=0"' --publish 8080:8080 \
      --volume "$PWD/models:/models:ro" ninfer:local \
      ninfer-serve /models/qwen3_8_27b_nvfp4.ninfer \
      --host 0.0.0.0 --max-context 8192 --kv-dtype fp8

关键配置

配置项必填说明示例
--max-context是设置最大上下文长度,决定可容纳的输入长度8192
--max-tokens否单次请求最多生成的 token 数1024
--kv-dtype否KV 缓存数据类型,示例使用 FP8fp8
--prompt否单次推理使用的提示词Explain prefill and decode briefly.
--host否服务模式下的监听地址0.0.0.0
--messages / --vision否从文件读取对话消息,并启用图像或视频输入--messages req.json --vision

如何确认成功

单次推理时回答出现在 stdout,启动信息与结果报告出现在 stderr;容器方式能看到 8080 端口已监听。

常见问题

Q:为什么终端里看不到模型回答?

A:回答内容写入 stdout,推理过程与启动信息写入 stderr,排查时把两路输出分开重定向即可。

Q:可以加载任意开源模型吗?

A:不可以,仅支持表中列出的 Qwen3.x 系列与 GLM-5.3-Flash,并且要和对应 GPU 部署方式匹配。

Q:Vision 或投机解码没有生效?

A:这两项要求权重文件中包含相应组件,并且在启动时显式开启,缺一不可。

Q:Docker 启动时提示 GPU 不可用?

A:宿主机需安装 NVIDIA Container Toolkit,并用 --gpus 参数指定要使用的设备。

Q:Flash Next 在 RTX 5090 上内存不够?

A:它需要 CPU expert offload,专家权重会占用大量系统内存,请先参考 CLI 指南的说明。

注意事项

  • 一个 Engine 只服务一个模型,常驻请求容量在启动时会被检查资源是否足够。
  • 双 Spark 的 Flash Next 使用 TP2,可选 EP2;GLM 使用 TP2 加 attention DP2,可选 EP2。
  • 离线困惑度评分只加载 Text 组件,不加载 Vision 部分。
  • 模型权重不在仓库内,需自行准备并放到挂载或指定的路径下。

核心亮点

  • C++ 实现,运行时开销低,便于嵌入现有服务
  • 针对特定模型检查点和 GPU 做定向优化,单卡延迟表现有针对性
  • 项目已有约 3400 星标,处于成长期,关注度尚可

不足之处

  • 只支持选定的模型检查点与 GPU 型号,通用性弱
  • 生态和文档相对早期,模型适配需要自行投入工作

适用场景

  • 固定模型与单卡的在线推理服务部署
  • 对延迟敏感的本地或边缘 GPU 推理
  • 将推理能力嵌入 C++ 后端系统的场景

替代项目

llama.cpp、vLLM、TensorRT-LLM

上一篇:tutorials

下一篇:tract

同类项目推荐

gemini-web2api-go 开源

把 Gemini 网页变成 OpenAI 接口,改个地址就能用

Gemini web → OpenAI-compatible + native Gemini API, self-hosted, no API key. Gemini···

★ 967 2026-10-06
robustmq 开源

一个二进制搞定多协议消息通信,省掉一堆中间件

Communication infrastructure for the AI era — one binary, one broker, one storage l···

★ 1863 2026-10-17
anyquery 开源

用 SQL 一把梭,轻松查遍 60+ 工具数据,还能喂给 AI

One SQL interface for 60+ tools (e.g., GitHub, Notion, Airtable). Plug into any LLM ···

★ 1794 2026-08-09
gpu-hot 开源

打开网页,实时盯紧每一块 NVIDIA GPU 的状态

Real-time NVIDIA GPU dashboard

★ 1647 2026-08-09
Flash-Sparse-Attention 开源

让长序列注意力更快更省,即插即用替换标准注意力

Efficient implementations of Native Sparse Attention

★ 591 2026-08-09
mega 开源

为 AI 代理打造的 Git 兼容 monorepo 引擎,让大规模协作更高效。

Mega is an open-source implementation of Google Piper — a Git-compatible monorepo e···

★ 538 2026-08-09
GPTRouter 开源

一个接口管所有大模型,自动切换保稳定,响应提速不宕机。

Smoothly Manage Multiple LLMs (OpenAI, Anthropic, Azure) and Image Models (Dall-E, S···

★ 453 2026-08-09
open-relay 开源

关掉终端,AI 任务继续跑,随时回来接管。

oly runs coding agents and long-running commands in persistent, supervised terminal ···

★ 110 2026-08-09