MagicDrive

用3D几何控制生成自动驾驶街景,解决数据稀缺

MagicDrive是ICLR 2024收录的论文官方实现,专注于自动驾驶场景的街景图像生成。它通过扩散模型结合3D几何控制,解决自动驾驶数据稀缺和多样性不足的问题。核心能力包括:利用3D边界框、相机参数和路面地图等条件,精确控制生成图像中的物体位置、姿态和场景布局,从而合成逼真且视角可控的街景。项目基于PyTorch,支持视频生成扩展,为自动驾驶感知模型的训练提供高质量合成数据。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1170
维护状态 低维护
是否开源
定价模式 free

项目数据

分类图像生成
开发团队cure-lab
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,可免费使用和修改,无付费版本。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型autonomous-vehicles,deep-learning,diffusion-models,image-generation,pytorch,video-generation
GitHub 星标★ 1170
30天Star增速
HF 下载量
上线时间2023-10-11 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

环境要求

  • Python 环境(README 未指定具体版本,需可安装 PyTorch 1.10.2)
  • Pytorch==1.10.2 + cuda 10.2(官方在 V100 服务器上测试通过)
  • git(需支持 --recursive 拉取子模块)
  • 充足的磁盘空间与可写目录,默认日志目录 ${ROOT}/magicdrive-log

安装与启动步骤

  1. 1克隆仓库

    必须带 --recursive,否则 third_party 子模块不会被拉取,后续第三方包无法安装。

    git clone --recursive https://github.com/cure-lab/MagicDrive.git
  2. 2选择安装依赖

    只跑 GUI 用 gui.txt;要跑完整测试 demo(并顺带验证环境)用 dev.txt,二选一执行。

    cd /your/path/MagicDrive
    pip install -r requirements/dev.txt
  3. 3安装第三方源码包

    README 要求以源码方式安装 third_party 下的 bevfusion(基于 db75150)和 diffusers(基于 v0.17.1)。

    cd /your/path/MagicDrive/third_party/bevfusion && pip -vvv install .
    cd /your/path/MagicDrive/third_party/diffusers && pip -vvv install .
  4. 4可选安装 xformers

    xformers(基于 v0.0.19)为可选项,遇到问题先看 doc/xformers.md 说明。

    cd /your/path/MagicDrive/third_party/xformers && pip -vvv install .
  5. 5配置 accelerate

    执行交互式配置命令,按提示设置默认配置;默认日志目录为 ${ROOT}/magicdrive-log,请提前预留空间。

    accelerate config

如何确认成功

用 dev.txt 方式安装后跑一遍完整测试 demo(README 称其可在训练前验证环境),能正常跑通即环境配置成功。

常见问题

Q:只想跑 GUI,不想装完整依赖怎么办?

A:按 README 的 option1,只执行 pip install -r requirements/gui.txt,再继续安装 third_party 中的 diffusers 即可。

Q:安装环境时报错怎么办?

A:README 建议先查看 doc/FAQ.md;xformers 相关问题另见 doc/xformers.md。

Q:想生成视频而不是图像?

A:视频生成代码不在主分支,请切换到 video 分支 https://github.com/cure-lab/MagicDrive/tree/video 获取。

Q:third_party 目录是空的?

A:说明克隆时漏了 --recursive 参数,需重新用 git clone --recursive 拉取仓库以获取子模块。

注意事项

  • 克隆仓库必须加 --recursive,否则缺少 bevfusion/diffusers/xformers 等子模块。
  • 官方在 V100 服务器上以 Pytorch==1.10.2、cuda 10.2 测试,环境差异可能导致失败。
  • bevfusion、diffusers 需以源码方式安装;xformers 为可选依赖。
  • 默认日志目录为 ${ROOT}/magicdrive-log,运行前请确认磁盘空间与写入权限。

核心亮点

  • 3D几何控制精确,可指定物体位置和姿态
  • 支持多视角生成,提升数据多样性
  • 基于扩散模型,图像质量高

不足之处

  • 依赖大量3D标注数据,预处理复杂
  • 训练资源需求高,普通硬件难以运行
  • 文档/社区待观察

适用场景

  • 自动驾驶感知模型训练数据增强
  • 自动驾驶仿真场景构建
  • 多视角街景图像生成研究

替代项目

BEVGen、MVSplat、StreetGen

项目介绍

MagicDrive 是图像领域的开源项目,由 cure-lab 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,170)位列前 30%,在图像分类的 837 个项目里位列前 14%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。Apache-2.0 许可证,可免费使用和修改,无付费版本。

它主要面向的使用场景是:自动驾驶感知模型训练数据增强。同类可对比的替代方案包括 BEVGen、MVSplat、StreetGen。

上一篇:comfyui_HiDream-Sampler

下一篇:LightGen

同类项目推荐

satori 开源

网页代码一键变高清图,放大不糊,不用截图

Enlightened library to convert HTML and CSS to SVG

★ 13967 2026-08-09
C2GAN 开源

用关键点精准控制图像生成,让AI画出你想要的结构

[ACM MM 2019 Oral] Cycle In Cycle Generative Adversarial Networks for Keypoint-Guide···

★ 70 2026-08-09
DeTikZify 开源

上传图表或草图,秒变可编译的TikZ矢量代码。

Synthesizing Graphics Programs for Scientific Figures and Sketches with TikZ.

★ 1820 2026-08-09