
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 3393
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- RTX 5090 单卡,或两台 DGX Spark(部分模型需要双机)
- 已按目标硬件编译完成,存在 build/rtx5090-release/apps/ninfer 可执行文件
- 符合列表中架构的 .ninfer 模型权重文件
- 使用 Docker 方式时,宿主机需安装 NVIDIA Container Toolkit
- Flash Next 的 CPU expert offload 需要较大的系统内存
安装与启动步骤
-
1确认硬件与模型
先核对模型与 GPU 组合在支持表内;Vision 与投机解码要求模型权重文件中包含对应组件。
-
2准备本地部署配置
在项目根目录把对应硬件的示例配置复制为本地配置,再按需调整容量与解码参数。
cp examples/configs/rtx5090-qwen3_8-27b-nvfp4.toml ninfer.local.toml -
3运行单次推理
用已编译的 ninfer 程序加载权重跑一条请求,回答写到标准输出,日志与报告写到标准错误。
./build/rtx5090-release/apps/ninfer models/qwen3_8_27b_nvfp4.ninfer --prompt "Explain prefill and decode briefly." --max-context 8192 --max-tokens 1024 --kv-dtype fp8 -
4启动常驻服务
改用编辑好的 ninfer.local.toml 启动常驻服务;分布式部署与 worker 启动见部署指南。
-
5构建 Docker 镜像
在项目根目录构建包含 RTX 5090 CLI 与服务端的镜像,宿主机需先装好容器 GPU 支持。
docker build --tag ninfer:local . -
6以容器启动服务
只暴露 GPU 0,把本地 models 目录只读挂载进容器并映射 8080 端口启动服务。
docker run --rm --gpus '"device=0"' --publish 8080:8080 \ --volume "$PWD/models:/models:ro" ninfer:local \ ninfer-serve /models/qwen3_8_27b_nvfp4.ninfer \ --host 0.0.0.0 --max-context 8192 --kv-dtype fp8
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--max-context | 是 | 设置最大上下文长度,决定可容纳的输入长度 | 8192 |
--max-tokens | 否 | 单次请求最多生成的 token 数 | 1024 |
--kv-dtype | 否 | KV 缓存数据类型,示例使用 FP8 | fp8 |
--prompt | 否 | 单次推理使用的提示词 | Explain prefill and decode briefly. |
--host | 否 | 服务模式下的监听地址 | 0.0.0.0 |
--messages / --vision | 否 | 从文件读取对话消息,并启用图像或视频输入 | --messages req.json --vision |
如何确认成功
单次推理时回答出现在 stdout,启动信息与结果报告出现在 stderr;容器方式能看到 8080 端口已监听。
常见问题
Q:为什么终端里看不到模型回答?
A:回答内容写入 stdout,推理过程与启动信息写入 stderr,排查时把两路输出分开重定向即可。
Q:可以加载任意开源模型吗?
A:不可以,仅支持表中列出的 Qwen3.x 系列与 GLM-5.3-Flash,并且要和对应 GPU 部署方式匹配。
Q:Vision 或投机解码没有生效?
A:这两项要求权重文件中包含相应组件,并且在启动时显式开启,缺一不可。
Q:Docker 启动时提示 GPU 不可用?
A:宿主机需安装 NVIDIA Container Toolkit,并用 --gpus 参数指定要使用的设备。
Q:Flash Next 在 RTX 5090 上内存不够?
A:它需要 CPU expert offload,专家权重会占用大量系统内存,请先参考 CLI 指南的说明。
注意事项
- 一个 Engine 只服务一个模型,常驻请求容量在启动时会被检查资源是否足够。
- 双 Spark 的 Flash Next 使用 TP2,可选 EP2;GLM 使用 TP2 加 attention DP2,可选 EP2。
- 离线困惑度评分只加载 Text 组件,不加载 Vision 部分。
- 模型权重不在仓库内,需自行准备并放到挂载或指定的路径下。
核心亮点
- C++ 实现,运行时开销低,便于嵌入现有服务
- 针对特定模型检查点和 GPU 做定向优化,单卡延迟表现有针对性
- 项目已有约 3400 星标,处于成长期,关注度尚可
不足之处
- 只支持选定的模型检查点与 GPU 型号,通用性弱
- 生态和文档相对早期,模型适配需要自行投入工作
适用场景
- 固定模型与单卡的在线推理服务部署
- 对延迟敏感的本地或边缘 GPU 推理
- 将推理能力嵌入 C++ 后端系统的场景
替代项目
llama.cpp、vLLM、TensorRT-LLM
同类项目推荐
sagemaker-custom-project-templat···
开源
用现成模板,快速搭建 SageMaker 标准化 MLOps 流水线
This repository contains guidance related to SageMaker AI Projects. SageMaker Projec···
gemini-web2api-go
开源
把 Gemini 网页变成 OpenAI 接口,改个地址就能用
Gemini web → OpenAI-compatible + native Gemini API, self-hosted, no API key. Gemini···
robustmq
开源
一个二进制搞定多协议消息通信,省掉一堆中间件
Communication infrastructure for the AI era — one binary, one broker, one storage l···
anyquery
开源
用 SQL 一把梭,轻松查遍 60+ 工具数据,还能喂给 AI
One SQL interface for 60+ tools (e.g., GitHub, Notion, Airtable). Plug into any LLM ···
gpu-hot
开源
打开网页,实时盯紧每一块 NVIDIA GPU 的状态
Real-time NVIDIA GPU dashboard
Flash-Sparse-Attention
开源
让长序列注意力更快更省,即插即用替换标准注意力
Efficient implementations of Native Sparse Attention
mega
开源
为 AI 代理打造的 Git 兼容 monorepo 引擎,让大规模协作更高效。
Mega is an open-source implementation of Google Piper — a Git-compatible monorepo e···
GPTRouter
开源
一个接口管所有大模型,自动切换保稳定,响应提速不宕机。
Smoothly Manage Multiple LLMs (OpenAI, Anthropic, Azure) and Image Models (Dall-E, S···
open-relay
开源
关掉终端,AI 任务继续跑,随时回来接管。
oly runs coding agents and long-running commands in persistent, supervised terminal ···