pegainfer

纯 Rust 直调 CUDA，OpenAI 接口跑大模型

pegainfer 是一个用纯 Rust 编写的 LLM 推理引擎，底层直接调用 CUDA 内核，不依赖 PyTorch 或任何 Python 运行时。它解决的是现有推理框架依赖庞大、部署链路复杂的问题：传统方案往往需要 PyTorch、CUDA 工具链和 Python 环境层层叠加，资源占用高且难以嵌入到 Rust 服务中。pegainfer 提供 OpenAI 兼容的 HTTP 接口，支持从 Qwen3 到 Kimi-K2、DeepSeek 等主流开源模型，内置 KV Cache 管理、GPU 推理调度和模型服务能力。核心能力包括：纯 Rust 实现带来更小的运行时体积和更可控的内存行为；直接编写 CUDA kernel 以贴近硬件优化性能；兼容 OpenAI API 协议，方便现有客户端无缝切换。适合希望在 Rust 技术栈内自建推理服务、或对部署体积和启动速度有要求的团队。