MagicDrive

用3D几何控制生成自动驾驶街景,解决数据稀缺

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 52 🐛 待处理 9 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1167
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和修改,无付费版本。

项目预览

MagicDrive 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队cure-lab
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型autonomous-vehicles,deep-learning,diffusion-models,image-generation,pytorch,video-generation
GitHub 星标★ 1167
上线时间2023-10-11 00:00:00
代码更新2025-04-21
仓库体积24.0 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

MagicDrive是ICLR 2024收录的论文官方实现,专注于自动驾驶场景的街景图像生成。它通过扩散模型结合3D几何控制,解决自动驾驶数据稀缺和多样性不足的问题。核心能力包括:利用3D边界框、相机参数和路面地图等条件,精确控制生成图像中的物体位置、姿态和场景布局,从而合成逼真且视角可控的街景。项目基于PyTorch,支持视频生成扩展,为自动驾驶感知模型的训练提供高质量合成数据。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1167

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

环境要求

  • Python 环境(README 未指定具体版本,需可安装 PyTorch 1.10.2)
  • Pytorch==1.10.2 + cuda 10.2(官方在 V100 服务器上测试通过)
  • git(需支持 --recursive 拉取子模块)
  • 充足的磁盘空间与可写目录,默认日志目录 ${ROOT}/magicdrive-log

安装与启动步骤

  1. 1克隆仓库

    必须带 --recursive,否则 third_party 子模块不会被拉取,后续第三方包无法安装。

    git clone --recursive https://github.com/cure-lab/MagicDrive.git
  2. 2选择安装依赖

    只跑 GUI 用 gui.txt;要跑完整测试 demo(并顺带验证环境)用 dev.txt,二选一执行。

    cd /your/path/MagicDrive
    pip install -r requirements/dev.txt
  3. 3安装第三方源码包

    README 要求以源码方式安装 third_party 下的 bevfusion(基于 db75150)和 diffusers(基于 v0.17.1)。

    cd /your/path/MagicDrive/third_party/bevfusion && pip -vvv install .
    cd /your/path/MagicDrive/third_party/diffusers && pip -vvv install .
  4. 4可选安装 xformers

    xformers(基于 v0.0.19)为可选项,遇到问题先看 doc/xformers.md 说明。

    cd /your/path/MagicDrive/third_party/xformers && pip -vvv install .
  5. 5配置 accelerate

    执行交互式配置命令,按提示设置默认配置;默认日志目录为 ${ROOT}/magicdrive-log,请提前预留空间。

    accelerate config

如何确认成功

用 dev.txt 方式安装后跑一遍完整测试 demo(README 称其可在训练前验证环境),能正常跑通即环境配置成功。

常见问题

Q:只想跑 GUI,不想装完整依赖怎么办?

A:按 README 的 option1,只执行 pip install -r requirements/gui.txt,再继续安装 third_party 中的 diffusers 即可。

Q:安装环境时报错怎么办?

A:README 建议先查看 doc/FAQ.md;xformers 相关问题另见 doc/xformers.md。

Q:想生成视频而不是图像?

A:视频生成代码不在主分支,请切换到 video 分支 https://github.com/cure-lab/MagicDrive/tree/video 获取。

Q:third_party 目录是空的?

A:说明克隆时漏了 --recursive 参数,需重新用 git clone --recursive 拉取仓库以获取子模块。

注意事项

  • 克隆仓库必须加 --recursive,否则缺少 bevfusion/diffusers/xformers 等子模块。
  • 官方在 V100 服务器上以 Pytorch==1.10.2、cuda 10.2 测试,环境差异可能导致失败。
  • bevfusion、diffusers 需以源码方式安装;xformers 为可选依赖。
  • 默认日志目录为 ${ROOT}/magicdrive-log,运行前请确认磁盘空间与写入权限。

核心亮点

  • 3D几何控制精确,可指定物体位置和姿态
  • 支持多视角生成,提升数据多样性
  • 基于扩散模型,图像质量高

不足之处

  • 依赖大量3D标注数据,预处理复杂
  • 训练资源需求高,普通硬件难以运行
  • 文档/社区待观察

适用场景

  • 自动驾驶感知模型训练数据增强
  • 自动驾驶仿真场景构建
  • 多视角街景图像生成研究

替代项目

BEVGen、MVSplat、StreetGen

上一篇:comfyui_HiDream-Sampler

下一篇:LightGen

同类项目推荐

pokemon-card-generator 开源

输入一句话,AI 自动生成宝可梦卡牌

A PHP app that generates Pokemon cards by using GPT and Stable Diffusion.

★ 88 2026-08-09
gpt-image-panel 开源

自托管面板,一处生成、编辑、管理 AI 图片

Self-hosted web panel for GPT-compatible image generation APIs — generate, edit, an···

★ 129 2026-09-16
stablediffusion-infinity 开源

无限画布上扩展你的AI图像,让创意不再受限

Outpainting with Stable Diffusion on an infinite canvas

★ 3887 2026-08-09
studio 开源

一键生成古怪艺术,灵感随手即得!

A suite of random, mostly weird, generative art tools!

★ 166 2026-08-09
ImageCritic 开源

给扩散模型装个批评家,让生成图像更听话

Official implementation of ImageCritic (CVPR 2026)

★ 170 2026-08-09
stable-diffusion-webui-forge 开源

一键拉起 Stable Diffusion WebUI Forge 云端绘图环境

Stable Diffusion WebUI Forge docker images for use in GPU cloud and local environmen···

★ 62 2026-08-09
CLIPAway 开源

说句话就能自动抠掉图中物体,背景无缝补全

[NeurIPS 2024] Official Implementation of CLIPAway

★ 106 2026-08-09
breadboard 开源

跨平台桌面端,轻松玩转 Stable Diffusion 绘画

Stable Diffusion Browser for Windows, Mac, and Linux

★ 399 2026-08-09
MiXLab 开源

一个 Colab 笔记本搞定图像生成与素材下载

Yet another multi-purpose Colab Notebook

★ 254 2026-08-09