franken_ocr

不装 Python 不靠 GPU，纯 Rust 在 CPU 上跑 3B OCR 大模型

franken_ocr 是一个用纯 Rust 实现的 CPU 端 OCR 推理引擎，目标模型是百度 Unlimited-OCR——一个基于 DeepSeek-OCR 衍生、参数量约 3B 的 MoE 视觉语言模型。它最大的特点是彻底脱离主流机器学习框架：不依赖 PyTorch、ONNX Runtime 或任何 Python 运行时，也不使用 GPU，而是手写 int8/int4 量化算子与 SIMD 内核（覆盖 AVX-512、NEON 等指令集），直接在 CPU 上完成视觉编码与文本生成。项目提供五模型 zoo，可按精度与速度取舍。它解决的是部署侧痛点：在无 GPU 的服务器、边缘设备或需要静态编译分发的场景中，传统 VLM 推理栈过重、依赖复杂。核心能力包括量化推理、跨 x86/ARM 的 SIMD 加速、以及纯 Rust 带来的单二进制部署体验。