Cosmos-Drive-Dreams

用世界模型生成海量驾驶视频，低成本覆盖极端场景

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 65 🐛 待处理 29 👀 关注 15
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 556
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和部署，无付费版本。

项目预览

Cosmos-Drive-Dreams 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队nv-tlabs
官网地址https://research.nvidia.com/labs/toronto-ai/cosmos_drive_dreams
GitHubhttps://github.com/nv-tlabs/Cosmos-Drive-Dreams
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和部署，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型autonomous-driving,generation,video-generation
GitHub 星标★ 556
上线时间2025-06-08 00:00:00
代码更新2026-03-10
仓库体积98.9 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

Cosmos-Drive-Dreams 是一个基于世界基础模型（World Foundation Models）的可扩展合成驾驶数据生成项目。它利用 NVIDIA Cosmos 系列模型，通过文本或场景描述生成逼真的驾驶视频，为自动驾驶模型训练提供大规模、多样化的合成数据。该项目解决了真实驾驶数据采集成本高、覆盖场景有限、标注困难等问题，核心能力包括：支持从文本提示生成高质量驾驶视频、通过世界模型模拟各种天气和道路条件、提供与真实数据分布对齐的生成流程。项目采用 Jupyter Notebook 形式，便于研究人员快速上手和实验，旨在加速自动驾驶感知和规划模型的迭代。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 556

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 85 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA 显卡
  • 模型权重
  • 存储空间

安装与启动步骤

  1. 1看它做什么

    为自动驾驶生成多样化场景的合成数据管道。

  2. 2装依赖

    按仓库说明装。

    pip install -r requirements.txt

  3. 3取示例数据

    先用自带样例确认格式。

    python scripts/download.py --odir ./data --file_types synthetic --workers 4

  4. 4渲染一场景

    从已有数据渲染出多视角画面。

    python render_from_rds_hq.py -i ./assets/example -o ./outputs -d rds_hq_mv

  5. 5重写描述

    提升描述质量能明显改善生成。

    python scripts/rewrite_caption.py -i ./assets/example/captions -o ./outputs/captions

如何确认成功

从一个示例场景能渲染出多视角连续画面，几何与光照一致

注意事项

  • 它是数据生成管道，不是感知模型。
  • 合成数据的真实性直接决定下游效果。
  • 存储与算力消耗都很大。
  • 描述文本质量是被低估的关键变量。

核心亮点

  • 基于 NVIDIA Cosmos 世界模型，生成视频质量高且物理一致性较好
  • 支持文本驱动生成，可灵活定制天气、道路等场景，覆盖长尾案例
  • Notebook 形式开箱即用，降低研究门槛

不足之处

  • 文档/社区待观察
  • 依赖 NVIDIA 专有模型，可能受限于硬件和闭源组件

适用场景

  • 自动驾驶感知模型训练数据增强
  • 极端天气和罕见事故场景模拟
  • 驾驶策略验证与闭环仿真

替代项目

DriveGAN、TrafficGen、VISTA

上一篇：MicroLens

下一篇：Koala-36M

同类项目推荐

voice-dataset-creation 开源

帮原住民社区自主打造语音数据集，守护语言并喂给AI

Community-controlled voice data collection for language preservation and AI developm···

★ 73 2026-08-09
cv-dataset 开源

查 Common Voice 各语言版本元数据，一键定位训练语料

Metadata and versioning details for the Common Voice dataset

★ 179 2026-09-21
bible 开源

90版35语圣经文本，JSON/XML 直接拿去用

Bible text in JSON and XML — 141 versions across 85 languages, ready for apps, vers···

★ 784 2026-09-28
stopes 开源

一键准备多语言翻译数据，从清洗到挖掘平行语料

A library for preparing data for machine translation research (monolingual preproces···

★ 315 2026-08-10
Bastet 开源

用 AI 数据集和自动化流程，精准揪出 DeFi 合约漏洞

Bastet is a comprehensive dataset of common smart contract vulnerabilities in DeFi a···

★ 124 2026-08-19
palestine-datasets 开源

调用伤亡数据 API，用姓名和数字还原真实故事

The human toll of Israel's ongoing genocide in names & numbers. Use the data from ou···

★ 411 2026-09-21
DataArc-SynData-Toolkit 开源

按规则批量造合成数据，替代敏感真实数据

Synthetic Data Generation Platform By DataArcTech

★ 1787 2026-09-12
TTS-dataset-tools 开源

上传音频和文本，自动切分对齐，快速生成 TTS 数据集。

Automatically generates TTS dataset using audio and associated text. Make cuts under···

★ 52 2026-08-09
fondant 开源

像搭积木一样构建生产级数据处理流水线，让数据准备高效可复用。

Production-ready data processing made easy and shareable

★ 359 2026-08-09