cosmos

用世界模型造物理AI训练数据,省真机成本

开源 🏷️基础免费,高级付费 ✅ 目前可打开 开源模型 🍴 复刻 945 🐛 待处理 17 👀 关注 96
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 12255
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源模型免费,NVIDIA云服务按需付费,定价信息待确认

项目预览

cosmos 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队NVIDIA
定价模式🏷️基础免费,高级付费
价格说明开源模型免费,NVIDIA云服务按需付费,定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
GitHub 星标★ 12255
上线时间2024-12-30 00:00:00
代码更新2026-10-30
仓库体积295.6 MB
本站数据更新2026-11-05
维护状态活跃
收录时间2026-09-21
浏览次数4

项目介绍

NVIDIA Cosmos 是英伟达推出的开源世界模型平台,面向物理 AI(Physical AI)场景,提供世界基础模型、数据集与配套工具链。它要解决的核心问题是:机器人和自动驾驶等实体智能体在真实世界中训练成本高、数据稀缺、仿真环境难以规模化。Cosmos 通过世界模型生成可控、物理合理的合成视频与场景,让开发者用少量真实数据配合大规模合成数据来训练和评估策略模型。平台包含预训练的世界模型(如扩散/自回归视频生成)、Tokenizer、数据整理与后训练脚本,以及面向机器人操作、自动驾驶、智能基础设施的示例流程。项目以 Jupyter Notebook 为主要载体,便于快速上手和实验,同时与 NVIDIA 的仿真、训练生态衔接。整体定位是给物理 AI 开发者提供从数据生成到模型微调的一站式开放基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 12255

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:模型权重 7 步

环境要求

  • Python 环境,并安装 uv(Cosmos Framework 要求 uv >= 0.11.3)
  • 可用的 NVIDIA CUDA 环境(安装使用 --torch-backend=cu128 等 CUDA 后端)
  • Hugging Face 账号,并能创建访问令牌(access token)
  • 已申请并获得 gated 仓库 nvidia/Cosmos-1.0-Guardrail 的访问权限(Generator 必需)
  • 磁盘空间充足,或可挂载共享/大容量缓存盘用于存放模型(HF_HOME)

安装与启动步骤

  1. 1确认 uv 版本

    Cosmos Framework 通过 pyproject.toml 强制要求 uv >= 0.11.3,版本过旧会解析配置失败或无法识别 cu130 等新参数。

    uv self update
  2. 2创建 HF 令牌

    在 Hugging Face 网站创建 access token;这是运行示例前的前置条件,令牌需要能读取所用模型仓库。

  3. 3本地认证 Hugging Face

    用官方 CLI 在本地完成登录,认证后后续示例才能拉取 NVIDIA Cosmos 模型权重。

    uvx hf@latest auth login
  4. 4申请 Guardrail 权限

    Generator 路径依赖 gated 仓库 nvidia/Cosmos-1.0-Guardrail,需先在该页面申请访问并通过审核。

  5. 5设置缓存目录

    如需共享缓存或磁盘空间不足,可设置 HF_HOME 把模型缓存指向更大容量的磁盘,否则可跳过。

    export HF_HOME=/your/path/hf-cache
  6. 6准备 NIM 密钥

    只有 NIM 路径用 NGC API key 替代 Hugging Face 认证,其他 Generate/Reasoner 路径不需要这一步。

    export NGC_API_KEY=nvapi-xxxxxxxx
  7. 7运行 Quickstart

    按 README Quickstart 选择一条路径(Diffusers、vLLM-Omni、NIM、SGLang 或 Transformers、vLLM、TensorRT-LLM)。

关键配置

配置项必填说明示例
HF_HOME否指定 Hugging Face 模型缓存目录,便于共享或使用大容量磁盘/your/path/hf-cache
NGC_API_KEY否NIM 示例使用的 NGC API key,替代 Hugging Face 认证nvapi-xxxxxxxx
enable_safety_checker否Diffusers 路径关闭 Guardrail 检查的开关False
TRTLLM_DISABLE_COSMOS3_GUARDRAILS否TensorRT-LLM 路径关闭 Guardrail 的环境变量1
use_guardrails否TensorRT-LLM 通过 extra_params 控制是否启用 Guardrailfalse
guardrails否vLLM-Omni 的 extra_params/extra_args 中控制 Guardrail 的字段false

如何确认成功

所选 Quickstart notebook 能无报错跑通,成功输出生成视频或推理结果,且 Guardrail 校验通过。

常见问题

Q:uv 安装或 sync 时报错怎么办?

A:多为 uv 版本过旧。Cosmos Framework 要求 uv >= 0.11.3,执行 uv self update 升级,或从 https://astral.sh/uv 重新安装。

Q:torch.cuda.is_available() 返回 False?

A:属于 README 的 Troubleshooting 场景,请对照其中 Which CUDA version should I use 与 Which base container should I use 两节,检查 CUDA 版本与基础容器是否匹配。

Q:运行 Generator 时 Guardrail 报错?

A:需先获得 gated 仓库 nvidia/Cosmos-1.0-Guardrail 的访问权限;也可按所用路径关闭,如 Diffusers 设 enable_safety_checker=False。

Q:不想用 Hugging Face 认证可以吗?

A:NIM 路径改用 NGC API key(环境变量 NGC_API_KEY),其余路径仍走 Hugging Face 登录。

注意事项

  • README 节选未给出完整安装命令,其中的 uv pip install --torch-backend=cu128 在原文里被截断,请以官方 README 完整命令为准。
  • Generator 相关路径必须先通过 nvidia/Cosmos-1.0-Guardrail 的 gated 仓库访问申请。
  • 关闭 Guardrail 的开关因推理后端而异:Diffusers、TensorRT-LLM、vLLM-Omni、Cosmos Framework 各不相同。
  • 节选只覆盖 Quickstart 的认证与权限部分,各后端具体运行命令需查看 README 对应小节。

核心亮点

  • 提供预训练世界基础模型与Tokenizer,可直接生成物理合理的合成视频,无需从零训练
  • 配套数据集、后训练与推理脚本齐全,Notebook 形式降低上手门槛
  • 背靠 NVIDIA 生态,与仿真、训练工具链衔接,适合机器人和自动驾驶落地

不足之处

  • 对显存和算力要求高,普通开发者本地跑完整流程门槛不低
  • 世界模型的物理一致性和长时程可控性仍在演进,生成质量需按场景验证

适用场景

  • 机器人操作策略训练:用合成视频扩充稀缺的真实操作数据
  • 自动驾驶场景生成:批量构造罕见corner case用于感知与规划测试
  • 智能基础设施仿真:为监控、巡检类AI生成多样化环境数据

替代项目

Genesis、Open-Sora、GAIA-1

上一篇:tabpfn-time-series

下一篇:llm.pdf

同类项目推荐

Awesome-VLGFM 开源

一张清单看懂视觉语言地理模型全貌

A Survey on Vision-Language Geo-Foundation Models (VLGFMs)

★ 182 2026-08-09
KG-LLM-Papers 开源

一页看尽知识图谱×大模型全部关键论文

[Paper List] Papers integrating knowledge graphs (KGs) and large language models (LL···

★ 2247 2026-08-09
GLM-5 开源

让AI从写代码升级为自主干工程,直接交付可运行结果

GLM-5: From Vibe Coding to Agentic Engineering

★ 7435 2026-08-09
MakeMoneyWithAI 开源

翻开源清单,找能赚钱的 AI 项目,快速变现

A list of open-source AI projects you can use to generate income easily.

★ 1181 2026-08-09
sd-akashic 开源

一站式查阅 Stable Diffusion 知识库,快速上手与进阶

A compendium of informations regarding Stable Diffusion (SD)

★ 1626 2026-08-09
OralGPT 开源

让 AI 看懂口腔影像,辅助诊断和报告生成

[NeurIPS'25 | CVPR'26] The official repo of OralGPT & MMOral Bench.

★ 110 2026-08-09
InternVL 开源

开源接近GPT-4o的多模态对话模型,图像理解与对话一步到位。

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接···

★ 10174 2026-08-09