DeepInteraction

让点云和图像互相“对话”,更准地框出 3D 物体

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 计算机视觉 🍴 复刻 17 🐛 待处理 26 👀 关注 16
GitHub ↗
GitHub 星标 ★ 269
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源研究代码,免费使用

项目预览

DeepInteraction 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类计算机视觉
开发团队LogosIntelligenceLab
定价模式🏷️完全免费
价格说明开源研究代码,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 269
上线时间2022-06-08 00:00:00
代码更新2026-10-24
仓库体积382 KB
本站数据更新2026-10-28
维护状态活跃
收录时间2026-10-28
浏览次数0

项目介绍

DeepInteraction 是 NeurIPS 2022 提出并在 TPAMI 2025 扩展的 3D 目标检测开源项目,面向自动驾驶与机器人感知场景。它解决多模态融合中 LiDAR 点云与相机图像交互不充分的问题:传统方法多在单模态内编码后再简单拼接,难以建模跨模态细粒度对应。项目核心是模态交互机制,让点云与图像特征在检测流程中双向交换信息,并用交互式解码器输出 3D 框。代码基于 Python 与 PyTorch,提供 nuScenes 等数据集上的训练与评测流程,含配置、预训练模型与可视化脚本,便于复现论文结果并作为多模态 3D 检测研究基线。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 269

核心亮点

  • 提出显式模态交互模块,点云与图像特征双向融合,而非简单拼接
  • NeurIPS 2022 与 TPAMI 2025 双版本,方法经过同行评审与扩展验证
  • 提供完整训练评测配置和预训练模型,复现路径清晰

不足之处

  • 依赖 nuScenes 等大规模多模态数据集,普通开发者复现成本较高
  • 仓库星标较少,社区活跃度与长期维护待观察
  • 训练需多卡 GPU 与较大显存,轻量场景适配性有限

适用场景

  • 自动驾驶感知算法研发中的多模态 3D 检测基线
  • 学术论文中 LiDAR-相机融合方法的对比实验
  • 机器人环境感知中融合点云与图像的目标定位

替代项目

BEVFusion、CenterPoint、MMDetection3D

上一篇:YOLOX-ROS

下一篇:PolarFormer

同类项目推荐

Construction-Hazard-Detection 开源

YOLO+聚类自动圈出工地危险区,实时告警

Enhances construction site safety using YOLO for object detection, identifying hazar···

★ 349 2026-09-20
panseg 开源

一键分割3D密集细胞,精准区分每个个体

A tool for cell instance aware segmentation in densely packed 3D volumetric images

★ 135 2026-08-10
caption_ocr_tool 开源

把视频里烧死的字幕,一键抠成可编辑文字

视频硬字幕提取工具

★ 197 2026-09-19
eSearch 开源

截屏即识别,离线翻译搜索一步到位

截屏 离线OCR 搜索翻译 以图搜图 贴图 录屏 万向滚动截屏 屏幕翻译 Screenshot Offline···

★ 7365 2026-08-10
gImageReader 开源

桌面点点鼠标,把图片和扫描件变成可复制文字

A Gtk/Qt front-end to tesseract-ocr.

★ 2014 2026-10-27
tesserocr 开源

Python 直连 Tesseract 引擎,细粒度控制 OCR 识别

A Python wrapper for the tesseract-ocr API

★ 2181 2026-10-27
EventGPT 开源

让大模型看懂事件相机数据,实现动态场景理解与问答

[CVPR2025] EventGPT: Event Stream Understanding with Multimodal Large Language Model···

★ 115 2026-08-09
Wis3D 开源

浏览器里直接看3D点云和相机位姿,免装软件

A web-based 3D visualization tool for 3D computer vision.

★ 323 2026-09-18
EarthDial 开源

把卫星影像变成能聊天的地球百科,问一句就能读懂地表变化。

[CVPR 2025 ] EarthDial: Turning Multi-Sensory Earth Observations to Interactive Dial···

★ 148 2026-08-09