luminal

Rust 写的轻量推理引擎，模型跑得更快更省

开源 🏷️定价信息待确认 ⏳ 访问状态待核验基础设施 🍴 复刻 254 🐛 待处理 73 👀 关注 21

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3045

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类基础设施

开发团队luminal-ai

官网地址https://luminal.com

GitHubhttps://github.com/luminal-ai/luminal

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态⏳ 访问状态待核验

是否开源是

开源协议Apache-2.0

主要语言Rust

GitHub 星标★ 3045

上线时间2023-07-18 00:00:00

代码更新2026-11-07

仓库体积105.4 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-11-08

浏览次数0

项目介绍

Luminal 是一个用 Rust 编写的轻量级深度学习推理框架，目标是让模型推理跑得更快、更省资源。它解决的是传统推理栈依赖多、启动慢、在 CPU 和 GPU 上难以兼顾性能的问题。核心能力包括：基于 Rust 的高性能执行引擎，支持将训练好的模型编译为高效计算图并做算子融合与内存复用；提供简洁的 Python 前端用于定义和加载模型，底层由 Rust 负责调度；支持 CPU 与 GPU 后端，并针对小批量、低延迟场景做优化。项目强调「编译式推理」思路，把模型图静态优化后再执行，减少运行时开销。适合需要嵌入到服务端、边缘设备或对启动时间和内存占用敏感的应用。当前星标约 3000，处于成长阶段，API 和生态仍在快速迭代中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-08 · 当前星标 ★ 3045

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 30 分钟部署方式：库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Rust 工具链（含 cargo，能执行 cargo run）
Git，用于克隆仓库
运行 Llama 3 8B 示例需要 CUDA 环境（示例使用 luminal_cuda_lite 与 device 特性）

安装与启动步骤

1获取源码

把 Luminal 仓库克隆到本地；README 未提供包管理器安装命令，示例均在仓库内运行。
```
git clone https://github.com/luminal-ai/luminal.git
```
2进入项目目录

进入仓库根目录执行后续命令，cargo 的 -p 参数依赖 workspace 结构。
```
cd luminal
```
3确认 Rust 环境

先确认 cargo 可用；跑 GPU 示例还需机器上有可用的 CUDA 环境。
```
cargo --version
```
4运行 Llama3 示例

编译并运行仓库自带的 Llama 3 8B CUDA 示例，首次编译耗时较长。
```
cargo run --release -p luminal_cuda_lite --example llama3 --features device
```
5参考最小用法

README 的 Rust 示例流程：建图→matmul→compile→set_data→execute→get_f32 取结果。

关键配置

配置项	必填	说明	示例
`features`	是	运行 CUDA 示例时需要启用的 cargo 特性	`device`
`Runtime`	是	执行后端，README 示例使用参考运行时	`ReferenceRuntime::default()`
`CompileOptions`	否	编译计算图时的选项参数	`CompileOptions::default()`
`DType`	否	张量数据类型，示例使用 F32	`DType::F32`