inference

一行代码部署视觉模型,让任何设备秒变 CV 指挥中心

开源 🏷️定价信息待确认 ✅ 目前可打开 基础设施 🍴 复刻 339 🐛 待处理 241 👀 关注 29
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2488
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

inference 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队roboflow
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型agents,classification,computer-vision,deployment,docker,inference,inference-api,inference-server,instance-segmentation,jetson,machine-learning,object-detection,onnx,python,tensorrt,vit,yolo11,yolov12,yolov5,yolov8
GitHub 星标★ 2488
上线时间2023-07-31 00:00:00
代码更新2026-11-07
仓库体积489.6 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-10
浏览次数7

项目介绍

inference 是一个将任何计算机或边缘设备转变为计算机视觉项目指挥中心的开源工具。它解决了视觉模型从开发到生产部署的复杂性问题,提供统一的推理 API,支持图像分类、目标检测、实例分割等任务。核心能力包括:通过简单的 Python 接口或 REST API 快速部署模型,内置对 Roboflow 模型格式的支持,可轻松集成到现有工作流;支持 Docker 容器化部署,便于在云端、边缘设备或本地环境运行;提供模型管理、版本控制和性能监控功能,帮助开发者高效管理视觉应用。它旨在降低计算机视觉应用的门槛,让开发者专注于业务逻辑而非底层基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 2488

使用教程

难度:入门 约 10 分钟 部署方式:Docker 5 步

环境要求

  • 已安装 Docker(参考 https://docs.docker.com/engine/install/)
  • Python 环境与 pip(用于安装 inference-cli)
  • 若使用 CUDA 显卡加速,需安装 NVIDIA Container Toolkit
  • 本机 9001 端口可被占用(开发模式 notebook 默认端口)

安装与启动步骤

  1. 1安装 Docker

    Inference 以容器方式运行,必须先装好 Docker。GPU 用户再照文档装 NVIDIA Container Toolkit。

  2. 2安装 inference-cli

    用 pip 安装官方命令行工具,后续由它自动拉取并启动匹配你机器的镜像。

    pip install inference-cli
  3. 3启动推理服务

    该命令会自动选择最优容器并以开发模式启动,首次运行需拉取镜像,耗时较长。

    inference server start --dev
  4. 4打开快速上手

    开发模式会在 9001 端口启动带快速入门指南的 Jupyter 服务,浏览器访问即可体验功能。

  5. 5接入摄像头与工作流

    连接摄像头视频流,或在 Roboflow Workflows UI 中构建部署工作流,也可直接调用服务 API。

如何确认成功

浏览器打开 http://localhost:9001/notebook/start,能看到 Jupyter notebook 快速入门指南即成功。

常见问题

Q:没有 NVIDIA 显卡能用吗?

A:可以。README 说明 inference server start 会自动选择适配你机器的容器,仅在存在 CUDA 显卡时才启用 GPU 加速。

Q:9001 端口被占用怎么办?

A:README 未给出修改端口的参数,可先释放或关闭占用 9001 端口的程序,再重新执行 inference server start --dev。

Q:支持哪些设备部署?

A:README 列出 Linux、Windows、Mac、NVIDIA Jetson、Raspberry Pi 以及自有云和其他设备,均有对应安装文档。

Q:开发模式能用于生产吗?

A:不建议。--dev 会额外启动 Jupyter notebook 服务,仅便于本地体验;生产部署请参考官方安装文档。

注意事项

  • 首次启动需从远端拉取容器镜像,请预留磁盘空间与网络时间。
  • 想用 GPU 加速,务必先装好 NVIDIA Container Toolkit,否则会自动回退。
  • 各设备(Jetson、树莓派、Mac 等)有专门安装说明,建议按官网对应页面操作。
  • 开发模式自带 Jupyter,暴露在本机端口上,请勿直接对公网开放。

核心亮点

  • 统一推理 API,支持分类、检测、分割等多种任务,切换模型无需改代码
  • Docker 一键部署,轻松跑在树莓派等边缘设备,资源占用低
  • 与 Roboflow 生态深度集成,模型上传后即可调用,上手极快

不足之处

  • 文档偏重基础用法,高级调优和边缘部署案例较少
  • 社区规模尚小,遇到问题可参考的讨论和第三方教程有限

适用场景

  • 在工厂产线部署质检模型,实时检测产品缺陷
  • 在智能摄像头中运行行人检测,实现安防预警
  • 为初创团队快速搭建 CV 原型,验证业务可行性

替代项目

Roboflow Inference、Ultralytics YOLO、TensorFlow Serving

上一篇:RuVector

下一篇:CTranslate2

同类项目推荐

llm-d 开源

在 Kubernetes 上榨干 GPU,让 LLM 推理飞起来

State of the art inference performance with modern accelerators on Kubernetes

★ 5177 2026-08-09
aimock 开源

本地一键 Mock 所有 AI 依赖,测试不烧钱不联网

Mock everything your AI app talks to — LLM APIs, MCP, A2A, AG-UI, vector DBs, searc···

★ 1008 2026-09-16
kserve 开源

在 Kubernetes 上标准化部署 AI 模型,一键搞定推理服务

Standardized Distributed Generative and Predictive AI Inference Platform for Scalabl···

★ 6201 2026-08-09
curvine 开源

让 AI 应用像访问本地文件一样快速读写云存储

AI-Native & Cloud-Native FS: A high-performance file semantic layer for cloud objec···

★ 1056 2026-08-10
keda-gpu-scaler 开源

无需 Prometheus,让 K8s 上的 GPU 工作负载按真实使用量自动伸缩。

KEDA External gRPC Scaler for GPU workloads - native NVML metrics via DaemonSet, no ···

★ 136 2026-08-09
llamafile 开源

一个文件搞定大模型,下载即用,跨平台运行

Distribute and run LLMs with a single file.

★ 26589 2026-08-10
cuvs 开源

GPU 上跑向量检索与聚类,十亿级数据也能秒级返回

cuVS - a library for vector search and clustering on the GPU

★ 890 2026-09-16
truss-examples 开源

照着抄,把模型快速变成可调用的 HTTP 服务

Examples of models deployable with Truss

★ 234 2026-08-09
gateway 开源

搭建AI应用后端,统一管理模型调用与流量

[deprecated] AI Gateway - core infrastructure stack for building production-ready AI···

★ 162 2026-08-09