pegainfer

纯 Rust 直调 CUDA，OpenAI 接口跑大模型

开源 🏷️定价信息待确认 ✅ 目前可打开 基础设施 🍴 复刻 121 🐛 待处理 61 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 731
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

pegainfer 项目界面预览图
图片来源：项目官网

项目数据

分类基础设施
开发团队pegainfer-project
官网地址https://pegainfer.org
GitHubhttps://github.com/pegainfer-project/pegainfer
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型cuda,cuda-kernels,deepseek,gpu,inference,inference-engine,kimi,kimi-k2,kv-cache,llm,llm-inference,llm-serving,model-serving,moe,openai-api,paged-attention,qwen,qwen3,rust,vllm
GitHub 星标★ 731
上线时间2026-02-17 00:00:00
代码更新2026-11-03
仓库体积23.2 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-16
浏览次数2

项目介绍

pegainfer 是一个用纯 Rust 编写的 LLM 推理引擎，底层直接调用 CUDA 内核，不依赖 PyTorch 或任何 Python 运行时。它解决的是现有推理框架依赖庞大、部署链路复杂的问题：传统方案往往需要 PyTorch、CUDA 工具链和 Python 环境层层叠加，资源占用高且难以嵌入到 Rust 服务中。pegainfer 提供 OpenAI 兼容的 HTTP 接口，支持从 Qwen3 到 Kimi-K2、DeepSeek 等主流开源模型，内置 KV Cache 管理、GPU 推理调度和模型服务能力。核心能力包括：纯 Rust 实现带来更小的运行时体积和更可控的内存行为；直接编写 CUDA kernel 以贴近硬件优化性能；兼容 OpenAI API 协议，方便现有客户端无缝切换。适合希望在 Rust 技术栈内自建推理服务、或对部署体积和启动速度有要求的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 731

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 50 分钟 部署方式：本地安装 4 步

环境要求

  • Rust 工具链
  • CUDA 12.x
  • NVIDIA GPU

安装与启动步骤

  1. 1装依赖

    它不依赖 PyTorch 运行时。

    uv pip install triton

  2. 2开发环境

    仓库带环境脚本。

    bash scripts/setup_dev.sh

  3. 3起服务

    按模型路径启动服务。

    # 用编译好的二进制启动

  4. 4验接口

    用兼容格式请求。

    curl http://127.0.0.1:8000/v1/models

如何确认成功

模型加载成功，接口返回正常补全。

注意事项

  • 每个模型自带调度与内核，共用服务层。
  • 编译耗时长，先在目标机上编。

核心亮点

  • 纯 Rust + 自研 CUDA kernel，不依赖 PyTorch/Python，运行时体积和依赖链显著更小
  • 提供 OpenAI 兼容 API，现有客户端和工具链可直接接入，迁移成本低
  • 已覆盖 Qwen3、Kimi-K2、DeepSeek 等主流模型，并内置 KV Cache 管理

不足之处

  • 项目处于早期阶段，模型覆盖和算子优化仍在持续补齐，生产稳定性待验证
  • 纯 Rust + CUDA 的技术栈门槛较高，社区贡献者和文档生态相对薄弱

适用场景

  • 在 Rust 后端服务中内嵌 LLM 推理，避免引入 Python 运行时
  • 对部署体积和启动速度敏感的 GPU 推理服务场景
  • 需要 OpenAI 兼容接口、快速替换现有推理后端的团队

替代项目

vLLM、llama.cpp、TensorRT-LLM

上一篇：SwiftLM

下一篇：vidur

同类项目推荐

DiPlay 开源

安卓车机不换硬件，也能用上 CarPlay

Independent CarPlay receiver for compatible Android head units. Wired and wireless p···

★ 13138 2026-10-05
MegaParse 开源

解析文档零丢失，直接喂给大模型

File Parser optimised for LLM Ingestion with no loss Parse PDFs, Docx, PPTx in a fo···

★ 7416 2026-08-09
AVH 开源

用 Arm 虚拟硬件，免开发板跑嵌入式软件

This repository explains the usage of Arm Virtual Hardware Fixed Virtual Platforms (···

★ 55 2026-08-09
runtm 开源

给AI编程代理一个安全沙箱，放心让它写代码和部署

Open-source sandboxes where coding agents build and deploy. Spin up isolated environ···

★ 303 2026-08-09
gerbil 开源

桌面一键运行本地大模型和图像生成，保护隐私

A desktop app for running Large Language Models locally.

★ 480 2026-08-09
ai-gateway 开源

一个网关接入30+大模型，自带缓存、护栏和成本控制

Unified AI Gateway for 30+ LLMs (OpenAI, Anthropic, Bedrock, Azure etc) with Caching···

★ 275 2026-08-09
lix 开源

给任意文件装上时光机，让AI变更可追溯

Embeddable version control system for files and tables.

★ 774 2026-08-09
get-beam 开源

让 GPU 任务像调用 API 一样，按需弹性伸缩，省心省钱。

Run GPU inference and training jobs on serverless infrastructure that scales with yo···

★ 103 2026-08-09
llm-metadata 开源

统一查询 LLM 元数据，告别硬编码模型信息

A lightweight interface for accessing and integrating LLM metadata, enabling applica···

★ 153 2026-08-09