Open3D-ML

开箱即用的3D点云模型训练与部署工具

Open3D-ML 是 Open3D 的扩展库,专注于 3D 机器学习任务,如点云语义分割、物体检测和实例分割。它提供统一的数据集加载接口(支持 SemanticKITTI、nuScenes 等)、预处理工具和评估指标,并集成 PyTorch 和 TensorFlow 两种主流深度学习框架。用户可通过简单配置训练和推理预训练模型(如 PointNet++、RandLA-Net),无需从头实现数据管道。项目解决了 3D 视觉研究与工程中数据格式混乱、模型复现困难、跨框架迁移成本高的问题,使开发者能快速在 LiDAR 或 RGBD 数据上构建和部署 3D 感知模型。

开源 free 计算机视觉
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2350
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类计算机视觉
开发团队isl-org
所属国家
官网地址
定价模式free
价格说明开源项目,可免费使用和部署,无付费版本。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型3d-object-detection,3d-perception,datasets,lidar,object-detection,pretrained-models,pytorch,rgbd,semantic-segmentation,tensorflow,visualization
GitHub 星标★ 2350
30天Star增速
HF 下载量
上线时间2020-07-01 00:00:00
最近更新2026-09-22 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-10
浏览次数2

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 环境(可运行 pip)
  • Open3D v0.11+(通过 pip 安装的 open3d 已内置 Open3D-ML)
  • PyTorch 2.0.* 或 TensorFlow 2.13.*(二选一,按所选框架安装)
  • CUDA 10.1 或 11.*(仅 GNU/Linux x86_64 上可选,非必需)

安装与启动步骤

  1. 1升级 pip

    先确保 pip 为最新版本,避免安装 open3d 时出现依赖解析问题。

    pip install --upgrade pip
  2. 2安装 Open3D

    Open3D-ML 已集成在 Open3D v0.11+ 的 Python 发行包中,安装 open3d 即同时获得 Open3D-ML,无需单独安装。

    pip install open3d
  3. 3获取依赖文件

    各框架的兼容版本 requirements 文件位于 Open3D-ML 仓库根目录,需先克隆仓库才能使用。

    git clone https://github.com/isl-org/Open3D-ML.git
    cd Open3D-ML
  4. 4安装 PyTorch 依赖

    在仓库根目录执行,安装与 Open3D-ML 兼容的 PyTorch 版本。Linux 需要 GPU 时改用 cuda 版本文件。

    pip install -r requirements-torch.txt
  5. 5安装 TensorFlow 依赖

    使用 TensorFlow 框架时执行;PyTorch 与 TensorFlow 按需二选一即可,无需都装。

    pip install -r requirements-tensorflow.txt
  6. 6验证导入与配置

    导入 open3d.ml.torch 并加载仓库自带配置文件,能实例化模型即说明库与框架版本匹配。

    import open3d.ml as _ml3d
    import open3d.ml.torch as ml3d
    cfg_file = "ml3d/configs/randlanet_semantickitti.yml"
    cfg = _ml3d.utils.Config.load_from_file(cfg_file)
    model = ml3d.models.RandLANet(**cfg.model)
    print(model)
  7. 7运行模型推理

    把 dataset_path 换成自己的数据集路径后,用预训练模型跑语义分割或 3D 物体检测推理,权重见 Model Zoo。

    import open3d.ml as _ml3d
    import open3d.ml.torch as ml3d
    
    cfg_file = "ml3d/configs/randlanet_semantickitti.yml"
    cfg = _ml3d.utils.Config.load_from_file(cfg_file)
    
    model = ml3d.models.RandLANet(**cfg.model)
    cfg.dataset['dataset_path'] = "/path/to/your/dataset"
    dataset = ml3d.datasets.SemanticKITTI(cfg.dataset.pop('dataset_path', None), **cfg.dataset)
    pipeline = ml3d.pipelines.SemanticSegmentation(model, dataset=dataset, device="gpu", **cfg.pipeline)

关键配置

配置项必填说明示例
cfg_file是指定要使用的模型配置文件路径ml3d/configs/randlanet_semantickitti.yml
dataset_path是本地数据集根目录路径,需替换为真实路径/path/to/your/dataset
device是推理运行设备,可选 gpu 或 cpugpu
model是模型配置字典,直接展开传给对应模型类ml3d.models.RandLANet(**cfg.model)

如何确认成功

能成功 import open3d.ml.torch,并按配置文件实例化 RandLANet 等模型且不报版本错误,即表示安装成功。

常见问题

Q:需要单独安装 Open3D-ML 这个包吗?

A:不需要。Open3D-ML 已集成在 Open3D v0.11+ 的 Python 发行版中,pip install open3d 即可同时获得,不用再装单独的包。

Q:该选 PyTorch 还是 TensorFlow?

A:两者都支持,按项目需要二选一即可。Open3D-ML 兼容 PyTorch 2.0.* 与 TensorFlow 2.13.*,安装对应的 requirements 文件即可。

Q:没有 GPU 能跑吗?

A:可以。CUDA 10.1/11.* 在 GNU/Linux x86_64 上是可选项,把 pipeline 的 device 参数改成 "cpu" 即可在纯 CPU 上运行。

Q:requirements 文件在哪?

A:位于 Open3D-ML 仓库根目录,必须先 git clone 仓库并进入该目录,否则 pip install -r 会找不到文件。

Q:怎么拿到预训练权重?

A:README 指向 Model Zoo(model_zoo.md)获取预训练模型权重,下载后按配置加载即可用于推理。

注意事项

  • README 仅给出安装与推理片段,未提供完整的训练命令行,训练流程请参考仓库内 ml3d 目录及配置文件。
  • requirements-torch.txt、requirements-tensorflow.txt、requirements-torch-cuda.txt、requirements-torch-xpu.txt 均在仓库根目录,按平台选择其一。
  • macOS 上 TensorFlow 支持情况 README 未完全展开,建议优先选择 PyTorch 路线。
  • 示例中的 dataset_path、device 等参数需按实际环境修改,不要直接照抄默认路径。

核心亮点

  • 统一数据接口,内置多种主流3D数据集,省去数据预处理时间
  • 同时支持PyTorch和TensorFlow,模型可无缝切换框架
  • 提供预训练模型和评估脚本,便于快速基准测试

不足之处

  • 文档偏重基础使用,高级自定义教程较少
  • 部分新模型架构支持滞后于前沿研究

适用场景

  • 自动驾驶点云感知模型快速原型验证
  • 室内RGBD场景语义分割与物体检测
  • 学术研究中标准数据集上的算法对比

替代项目

Pytorch3D、MinkowskiEngine、torch-points3d

项目介绍

Open3D-ML 是计算机视觉领域的开源项目,由 isl-org 开发,2020 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(2,350)位列前 30%,在计算机视觉分类中处于中上游。

近 42 天,它的 GitHub 星标从 2,325 增加到 2,350,净增 25。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-22。可免费使用和部署,无付费版本。

它主要面向的使用场景是:自动驾驶点云感知模型快速原型验证。同类可对比的替代方案包括 Pytorch3D、MinkowskiEngine、torch-points3d。

上一篇:deepdetect

下一篇:photonix

同类项目推荐

modlens 开源

给纯文本编码代理装上眼睛,粘贴图片即刻获得结构化视觉证据。

The first vision plugin for DeepSeek Harness, and the vision bridge for every text-o···

★ 4019 2026-08-19
opencv 开源

开箱即用的视觉算法库,搞定图像视频处理与识别

Open Source Computer Vision Library

★ 90930 2026-08-10
OpenCVTutorials 开源

中文 OpenCV 教程,从入门到实战,边看边跑代码

OpenCV-Python4.1 中文文档

★ 1430 2026-08-20
Olympus 开源

一个路由搞定所有视觉任务,免去逐个微调

[CVPR 2025 Highlight] Official code for "Olympus: A Universal Task Router for Comput···

★ 427 2026-08-09