
Crane
纯 Rust 多模态推理引擎,一个栈跑通文本、视觉、语音与 OCR。
Crane 是一个基于纯 Rust 构建的 LLM、VLM、VLA、TTS、OCR 推理引擎,底层依赖 Candle 框架。它的目标是成为 llama.cpp 的替代方案,但代码更简洁、结构更清晰。项目支持多种模型,包括 Qwen3 系列(8B/9B/ASR/TTS)、MiniCPM-o、MiniCPM-V、Kokoro TTS、Spark TTS、Audio8 TTS 等,覆盖文本生成、视觉理解、语音合成与识别、OCR 等多模态任务。Crane 用 Rust 重写推理全流程,避免 C++ 与 Python 混合栈的复杂度,适合追求高性能、低依赖、易嵌入的开发者。它既可作为独立推理服务,也能作为库集成到 Rust 应用中,为边缘设备和本地部署提供统一的多模态推理入口。
项目数据
使用教程
核心亮点
- 纯 Rust 实现,无 Python/C++ 混合依赖,编译部署更干净
- 统一支持 LLM、VLM、VLA、TTS、OCR 多模态任务,接口一致
- 基于 Candle 框架,可复用其算子与量化能力,性能有保障
不足之处
- 项目处于早期,模型覆盖与推理优化仍在快速迭代中
- 生态与文档相比 llama.cpp 尚不成熟,社区案例较少
适用场景
- 在 Rust 后端服务中嵌入本地 LLM 推理,替代 Python 服务
- 边缘设备上运行多模态模型,做离线视觉问答或 OCR
- 构建语音交互应用,集成 TTS 与 ASR 能力
替代项目
llama.cpp、candle、ollama
项目介绍
上一篇:5.0-Ai-Engineering-Toolkit
下一篇:没有了!
同类项目推荐
freebuff-proxy
开源
聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。
OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···
microduck
开源
用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型,免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···