Crane

纯 Rust 多模态推理引擎,一个栈跑通文本、视觉、语音与 OCR。

Crane 是一个基于纯 Rust 构建的 LLM、VLM、VLA、TTS、OCR 推理引擎,底层依赖 Candle 框架。它的目标是成为 llama.cpp 的替代方案,但代码更简洁、结构更清晰。项目支持多种模型,包括 Qwen3 系列(8B/9B/ASR/TTS)、MiniCPM-o、MiniCPM-V、Kokoro TTS、Spark TTS、Audio8 TTS 等,覆盖文本生成、视觉理解、语音合成与识别、OCR 等多模态任务。Crane 用 Rust 重写推理全流程,避免 C++ 与 Python 混合栈的复杂度,适合追求高性能、低依赖、易嵌入的开发者。它既可作为独立推理服务,也能作为库集成到 Rust 应用中,为边缘设备和本地部署提供统一的多模态推理入口。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 474
维护状态 活跃
是否开源
定价模式 free

项目数据

分类基础设施
开发团队lucasjinreal
所属国家
官网地址
定价模式free
价格说明开源免费,需自行部署
访问状态
是否开源
开源协议MIT
主要语言Rust
技术栈/模型audio8-tts,kokoro-tts,llama-cpp,minicpm-o,minicpm-v,mllm,qwen3,qwen3-8,qwen3-9,qwen3-asr,qwen3-tts,qwen4,rust,spark-tts,voxcpm2
GitHub 星标★ 474
30天Star增速
HF 下载量
上线时间2025-03-19 00:00:00
最近更新2026-09-18 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-19
浏览次数0

使用教程

核心亮点

  • 纯 Rust 实现,无 Python/C++ 混合依赖,编译部署更干净
  • 统一支持 LLM、VLM、VLA、TTS、OCR 多模态任务,接口一致
  • 基于 Candle 框架,可复用其算子与量化能力,性能有保障

不足之处

  • 项目处于早期,模型覆盖与推理优化仍在快速迭代中
  • 生态与文档相比 llama.cpp 尚不成熟,社区案例较少

适用场景

  • 在 Rust 后端服务中嵌入本地 LLM 推理,替代 Python 服务
  • 边缘设备上运行多模态模型,做离线视觉问答或 OCR
  • 构建语音交互应用,集成 TTS 与 ASR 能力

替代项目

llama.cpp、candle、ollama

项目介绍

Crane 是一个基础设施领域的开源项目,官方简介:A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rust. Alternate to your llama.cpp but much more simpler and cleaner..。项目使用 Rust 开发,在 GitHub 上获得 474 星标。

上一篇:5.0-Ai-Engineering-Toolkit

下一篇:没有了!

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···

★ 202 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8433 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 435 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181124 2026-08-09