TurboOCR

环境要求

• Linux 系统
• NVIDIA 驱动 595+
• Turing 或更新的 GPU（RTX 20 系列 / GTX 16 系列及以上）
• 显存约 4 GB（纯文本）到约 8 GB（完整流水线：版面+表格+公式）
• 已安装 Docker 与 NVIDIA Container Toolkit（--gpus all 可用）

安装与启动步骤

1. 1启动 OCR 容器

   用官方镜像启动服务，映射 8000（HTTP）与 50051（gRPC）端口，并挂载命名卷缓存 TensorRT 引擎。

   docker run --gpus all -p 8000:8000 -p 50051:50051 \
     -v trt-cache:/home/ocr/.cache/turbo-ocr \
     ghcr.io/aiptimizer/turboocr:latest

   复制

2. 2等待引擎构建

   首次启动会从 ONNX 构建 TensorRT 引擎，5090 约 90 秒，旧卡可能长达 1 小时；期间 nginx 会返回连接被拒。

3. 3调用 OCR 接口

   向后端发送图片二进制，返回文本、置信度和包围框。容器就绪后即可执行。

   curl -X POST http://localhost:8000/ocr/raw \
     --data-binary @document.png -H "Content-Type: image/png"

   复制

4. 4加速引擎构建

   如果首次构建太慢，可加大优化等级，构建时间缩短 3~5 倍，但有轻微速度回退。

   docker run --gpus all -e TRT_OPT_LEVEL=3 -p 8000:8000 -p 50051:50051 \
     -v trt-cache:/home/ocr/.cache/turbo-ocr \
     ghcr.io/aiptimizer/turboocr:latest

   复制

5. 5自行构建镜像

   如需从源码构建 GPU 镜像，使用仓库内的 Dockerfile.gpu，再按前述命令启动。

   docker build -f docker/Dockerfile.gpu -t turboocr .
   docker run --gpus all -p 8000:8000 -p 50051:50051 \
     -v trt-cache:/home/ocr/.cache/turbo-ocr turboocr

   复制

关键配置

如何确认成功

curl 向 http://localhost:8000/ocr/raw 发图，返回含 results 数组（text、confidence、bounding_box）的 JSON 即成功。

常见问题

注意事项

• 必须使用 --gpus all 把 GPU 透传给容器，否则无法推理。
• 首次启动会构建 TensorRT 引擎，耗时可能很长，建议保留 trt-cache 卷避免重复构建。
• 服务默认同时开放 HTTP 8000（nginx 反代到 Drogon 8080）与 gRPC 50051，两个端口都会自动启动。