项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 2488
使用教程
环境要求
- 已安装 Docker(参考 https://docs.docker.com/engine/install/)
- Python 环境与 pip(用于安装 inference-cli)
- 若使用 CUDA 显卡加速,需安装 NVIDIA Container Toolkit
- 本机 9001 端口可被占用(开发模式 notebook 默认端口)
安装与启动步骤
-
1安装 Docker
Inference 以容器方式运行,必须先装好 Docker。GPU 用户再照文档装 NVIDIA Container Toolkit。
-
2安装 inference-cli
用 pip 安装官方命令行工具,后续由它自动拉取并启动匹配你机器的镜像。
pip install inference-cli -
3启动推理服务
该命令会自动选择最优容器并以开发模式启动,首次运行需拉取镜像,耗时较长。
inference server start --dev -
4打开快速上手
开发模式会在 9001 端口启动带快速入门指南的 Jupyter 服务,浏览器访问即可体验功能。
-
5接入摄像头与工作流
连接摄像头视频流,或在 Roboflow Workflows UI 中构建部署工作流,也可直接调用服务 API。
如何确认成功
浏览器打开 http://localhost:9001/notebook/start,能看到 Jupyter notebook 快速入门指南即成功。
常见问题
Q:没有 NVIDIA 显卡能用吗?
A:可以。README 说明 inference server start 会自动选择适配你机器的容器,仅在存在 CUDA 显卡时才启用 GPU 加速。
Q:9001 端口被占用怎么办?
A:README 未给出修改端口的参数,可先释放或关闭占用 9001 端口的程序,再重新执行 inference server start --dev。
Q:支持哪些设备部署?
A:README 列出 Linux、Windows、Mac、NVIDIA Jetson、Raspberry Pi 以及自有云和其他设备,均有对应安装文档。
Q:开发模式能用于生产吗?
A:不建议。--dev 会额外启动 Jupyter notebook 服务,仅便于本地体验;生产部署请参考官方安装文档。
注意事项
- 首次启动需从远端拉取容器镜像,请预留磁盘空间与网络时间。
- 想用 GPU 加速,务必先装好 NVIDIA Container Toolkit,否则会自动回退。
- 各设备(Jetson、树莓派、Mac 等)有专门安装说明,建议按官网对应页面操作。
- 开发模式自带 Jupyter,暴露在本机端口上,请勿直接对公网开放。
核心亮点
- 统一推理 API,支持分类、检测、分割等多种任务,切换模型无需改代码
- Docker 一键部署,轻松跑在树莓派等边缘设备,资源占用低
- 与 Roboflow 生态深度集成,模型上传后即可调用,上手极快
不足之处
- 文档偏重基础用法,高级调优和边缘部署案例较少
- 社区规模尚小,遇到问题可参考的讨论和第三方教程有限
适用场景
- 在工厂产线部署质检模型,实时检测产品缺陷
- 在智能摄像头中运行行人检测,实现安防预警
- 为初创团队快速搭建 CV 原型,验证业务可行性
替代项目
Roboflow Inference、Ultralytics YOLO、TensorFlow Serving
上一篇:RuVector
下一篇:CTranslate2
同类项目推荐
llm-d
开源
在 Kubernetes 上榨干 GPU,让 LLM 推理飞起来
State of the art inference performance with modern accelerators on Kubernetes
aimock
开源
本地一键 Mock 所有 AI 依赖,测试不烧钱不联网
Mock everything your AI app talks to — LLM APIs, MCP, A2A, AG-UI, vector DBs, searc···
kserve
开源
在 Kubernetes 上标准化部署 AI 模型,一键搞定推理服务
Standardized Distributed Generative and Predictive AI Inference Platform for Scalabl···
curvine
开源
让 AI 应用像访问本地文件一样快速读写云存储
AI-Native & Cloud-Native FS: A high-performance file semantic layer for cloud objec···
keda-gpu-scaler
开源
无需 Prometheus,让 K8s 上的 GPU 工作负载按真实使用量自动伸缩。
KEDA External gRPC Scaler for GPU workloads - native NVML metrics via DaemonSet, no ···
llamafile
开源
一个文件搞定大模型,下载即用,跨平台运行
Distribute and run LLMs with a single file.
cuvs
开源
GPU 上跑向量检索与聚类,十亿级数据也能秒级返回
cuVS - a library for vector search and clustering on the GPU
truss-examples
开源
照着抄,把模型快速变成可调用的 HTTP 服务
Examples of models deployable with Truss
gateway
开源
搭建AI应用后端,统一管理模型调用与流量
[deprecated] AI Gateway - core infrastructure stack for building production-ready AI···
