Crane
纯 Rust 多模态推理引擎，一个栈跑通文本、视觉、语音与 OCR。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 519
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Rust 工具链
- 量化模型权重
安装与启动步骤
-
1装 Rust 环境
整体用 Rust 实现，先备工具链。
rustc --version -
2拉仓库跑安装脚本
脚本会编译出服务端与命令行。
git clone https://github.com/lucasjinreal/Crane -
3拉一个量化模型
它按低比特量化设计，先拿一个量化的权重跑。
-
4起服务并开界面
服务起来带网页界面，方便对话验证。
./target/release/crane-serve --model-path checkpoints/Ternary-Bonsai-2-27B-gguf/Ternary-Bonsai-2-27B-PTQ1_0.gguf --ui -
5测吞吐与内存
它的卖点是 CPU 与 GPU 上的速度与内存占用。
如何确认成功
起服务后完成一轮对话，同时记录首字延迟与内存峰值，与同模型其他运行时做对比
注意事项
- 它基于 Rust 的张量库实现推理，主打速度与内存效率。
- 面向低比特量化模型，全精度权重不是它的目标场景。
- 编译时间较长，第一次要有耐心。
- 生态比主流推理框架小，模型兼容性要看支持列表。
核心亮点
- 纯 Rust 实现，无 Python/C++ 混合依赖，编译部署更干净
- 统一支持 LLM、VLM、VLA、TTS、OCR 多模态任务，接口一致
- 基于 Candle 框架，可复用其算子与量化能力，性能有保障
不足之处
- 项目处于早期，模型覆盖与推理优化仍在快速迭代中
- 生态与文档相比 llama.cpp 尚不成熟，社区案例较少
适用场景
- 在 Rust 后端服务中嵌入本地 LLM 推理，替代 Python 服务
- 边缘设备上运行多模态模型，做离线视觉问答或 OCR
- 构建语音交互应用，集成 TTS 与 ASR 能力
替代项目
llama.cpp、candle、ollama
同类项目推荐
inferock-bench
开源
本地代理，实时追踪 LLM 调用成本与失败，账单一目了然
Local LLM cost-tracking proxy for OpenAI, Anthropic, Gemini, and pinned OpenRouter c···
ort
开源
用 Rust 跑 ONNX 模型，推理训练一把梭
Fast ML inference & training for ONNX models in Rust
MoE-Infinity
开源
把 MoE 大模型塞进小显存，推理快还省钱
PyTorch library for cost-effective, fast and easy serving of MoE models.
MemTrace
开源
给大模型记忆装个行车记录仪，出错秒级定位归因
MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems
dynamo
开源
把大模型推理做成数据中心级集群服务
A Datacenter Scale Distributed Inference Serving Framework
traceAI
开源
给 AI 应用装上监控，追踪调用链和成本
Open Source AI Tracing Framework built on Opentelemetry for AI Applications and Fram···
serving-pytorch-models
开源
用 TorchServe 把 PyTorch 模型快速变成线上 API
Serving PyTorch models with TorchServe :fire:
fuseml
开源
把散落的 AI 工具串成自动化流水线，减少集成折腾
FuseML aims to provide an MLOps framework as the medium dynamically integrating toge···
NoLlama
开源
让 Intel NPU 跑起 Ollama 风格本地大模型 API
NPU Ollama - An Ollama/OpenAI compatible API for Intel OpenVINO compatible computers