DriveLM

用图问答让自动驾驶学会推理和解释

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 90 🐛 待处理 47 👀 关注 21
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1352
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

DriveLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队OpenDriveLab
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言HTML
技术栈/模型autonomous-driving,chain-of-thought,graph-of-thoughts,large-language-models,llm,prompt-engineering,prompting,tree-of-thoughts,vision-language
GitHub 星标★ 1352
上线时间2023-08-08 00:00:00
代码更新2025-07-02
仓库体积280.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

DriveLM 是一个面向自动驾驶的视觉问答(VQA)基准与数据集,源自 ECCV 2024 Oral 论文。它提出用图结构组织驾驶场景中的视觉问答,将感知、预测、规划等任务以问题链形式关联,解决传统自动驾驶模型缺乏推理和可解释性的问题。核心能力包括:提供大规模驾驶场景问答数据,支持多模态模型评估,以及通过图问答形式驱动端到端驾驶决策。项目包含数据生成工具、评估脚本和基线模型,旨在推动可解释、可交互的自动驾驶智能体发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1352

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 30 分钟 部署方式:本地安装 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Git(用于克隆 DriveLM 仓库)
  • nuScenes 数据集(DriveLM-Data 基于 nuScenes 与 CARLA 构建,需自行准备)
  • Python 运行环境(用于运行 challenge devkit 与数据准备脚本,README 节选未明确版本)
  • 足够的磁盘空间存放 nuScenes 原始数据与 DriveLM 标注数据

安装与启动步骤

  1. 1克隆仓库

    把 DriveLM 仓库拉到本地,所有数据准备文档与挑战 devkit 都在仓库内。

    git clone https://github.com/OpenDriveLab/DriveLM.git
  2. 2进入仓库目录

    切换到克隆下来的目录,后续命令都在此目录中执行。

    cd DriveLM
  3. 3阅读数据准备文档

    README 的 Getting Started 明确指向该文档,先看清楚 nuScenes 数据的下载与处理要求。

    cat docs/data_prep_nus.md
  4. 4准备 DriveLM-nuScenes

    严格按 docs/data_prep_nus.md 中的步骤操作;README 节选未给出具体下载链接与参数,不要自行猜测路径。

  5. 5使用挑战 devkit

    进入 challenge 目录查看 devkit 内容,用于评估或提交 Autonomous Driving Challenge 2024 结果。

    cd challenge
  6. 6关注后续更新

    README 标注 More content coming soon,训练、评测等内容后续才会放出,建议留意官网 news。

如何确认成功

仓库克隆成功并能打开 docs/data_prep_nus.md 与 challenge/ 目录;数据准备完成后按该文档给出的校验方式确认即可。

常见问题

Q:DriveLM 的数据集在哪里下载?

A:README 的 Getting Started 指向 docs/data_prep_nus.md,nuScenes 版数据的下载与处理流程以该文档为准。

Q:有可以直接使用的 DriveLM-Agent 权重吗?

A:README 提到 DriveLM-Agent 是 VLM 基线方法,但本次节选中没有给出权重下载地址,需等仓库后续更新。

Q:怎么参加 2024 自动驾驶挑战赛?

A:README 给出 Driving-with-Language 排行榜链接 opendrivelab.com/challenge2024/#driving_with_language,可在该页面查看提交方式。

Q:为什么没有 pip install 之类的安装命令?

A:本次 README 节选只给了数据准备与 devkit 的入口,没有列出依赖安装命令,因此不提供未经验证的命令。

注意事项

  • 本项目主要是数据集与基准,部署重点是数据准备而非安装软件包。
  • README 节选未给出完整安装指令,请以 docs/data_prep_nus.md 和 challenge/ 目录内的说明为准。
  • DriveLM-Data 基于 nuScenes 与 CARLA,使用前请遵守其各自的数据许可协议。
  • 更多内容官方标注为 coming soon,建议定期查看 opendrivelab.com 的 news。

核心亮点

  • 首个将图结构VQA引入自动驾驶的基准,创新性强
  • ECCV 2024 Oral,学术认可度高,数据质量有保障
  • 覆盖感知、预测、规划全链路,支持端到端评估

不足之处

  • 数据规模相对较小,可能限制模型泛化能力
  • 文档和社区生态尚在早期,上手门槛较高

适用场景

  • 自动驾驶多模态模型推理能力评估
  • 驾驶场景可解释性研究
  • 端到端驾驶决策模型训练与测试

替代项目

nuScenes-QA、HAD (Human Attention in Driving)、BDD-X

上一篇:Awesome_Mamba

下一篇:VLM-Grounder

同类项目推荐

computer-vision-challenge 开源

边做边学,用Jupyter玩转计算机视觉经典任务

A hands-on collection of computer vision projects for everyone.

★ 71 2026-08-09
hub 开源

让旧摄像头变聪明,边缘实时识别安全隐患

Securade.ai HUB - A generative AI based edge platform for computer vision that conne···

★ 296 2026-10-26
deepdoctection 开源

一行代码搭建文档解析流水线,快速提取版面、表格与文本。

A Repo For Document AI

★ 3269 2026-08-10
ha-llmvision 开源

让 Home Assistant 看懂摄像头,自动触发智能场景

Visual intelligence for your home.

★ 1527 2026-08-09
notebooks 开源

云端一键跑通 YOLO 训练与推理全流程

Ultralytics YOLO tutorials for Colab, Kaggle, and SageMaker covering training, infer···

★ 248 2026-08-10
yolo_ros 开源

在 ROS 2 里一行启动 YOLO 检测,图像进结果出

Ultralytics YOLOv8, YOLOv9, YOLOv10, YOLOv11, YOLOv12 for ROS 2

★ 1158 2026-09-13
awesome-yolo-object-detection 开源

一份清单,快速找到你想要的 YOLO 模型和数据集。

A collection of some awesome public YOLO object detection series projects and the re···

★ 1800 2026-08-09
makeacopy 开源

离线拍照扫文档,OCR 转文字,隐私不外泄

MakeACopy is an open-source document scanner app for Android that allows you to digi···

★ 602 2026-09-19
YoloDotNet 开源

C# 里一站式跑 YOLO 五类视觉任务

YoloDotNet - A C# .NET 8.0 project for Classification, Object Detection, OBB Detecti···

★ 853 2026-10-25