production-ocr-course

用 Rust+K8s 把 OCR 从 Demo 做成能扛并发的生产服务

这是一个面向生产环境的 OCR 课程与配套代码库，用 Rust 编写核心服务，结合 vLLM 做视觉语言模型推理，Redis 做任务队列，KEDA 根据队列长度自动扩缩容，最终部署在 Kubernetes 上。它解决的是从 Demo 到生产之间的工程断层：很多人能跑通单张图片识别，但面对并发请求、GPU 利用率、弹性伸缩、失败重试和可观测性时无从下手。项目把整条链路拆成可复用的模块，包括图像预处理、批量推理、异步任务调度、指标暴露和 Helm 部署清单，并给出逐步搭建的教程。核心能力是让开发者理解如何用 Rust 写高性能推理服务、如何用 vLLM 托管多模态模型、如何用 KEDA 实现按需扩缩容，以及如何把 OCR 流水线做成可水平扩展的云原生系统。