cosmos

用世界模型造物理AI训练数据，省真机成本

NVIDIA Cosmos 是英伟达推出的开源世界模型平台，面向物理 AI（Physical AI）场景，提供世界基础模型、数据集与配套工具链。它要解决的核心问题是：机器人和自动驾驶等实体智能体在真实世界中训练成本高、数据稀缺、仿真环境难以规模化。Cosmos 通过世界模型生成可控、物理合理的合成视频与场景，让开发者用少量真实数据配合大规模合成数据来训练和评估策略模型。平台包含预训练的世界模型（如扩散/自回归视频生成）、Tokenizer、数据整理与后训练脚本，以及面向机器人操作、自动驾驶、智能基础设施的示例流程。项目以 Jupyter Notebook 为主要载体，便于快速上手和实验，同时与 NVIDIA 的仿真、训练生态衔接。整体定位是给物理 AI 开发者提供从数据生成到模型微调的一站式开放基础。

开源 freemium 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 11870

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类开源模型

开发团队NVIDIA

所属国家

官网地址https://www.nvidia.com/en-us/ai/cosmos

GitHubhttps://github.com/NVIDIA/cosmos

定价模式freemium

价格说明开源模型免费，NVIDIA云服务按需付费，定价信息待确认

访问状态

是否开源是

开源协议NOASSERTION

主要语言Jupyter Notebook

技术栈/模型

GitHub 星标★ 11870

30天Star增速

HF 下载量

上线时间2024-12-30 00:00:00

最近更新2026-09-20 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-21

浏览次数0

使用教程

难度：进阶约 15 分钟部署方式：模型权重 7 步

环境要求

Python 环境，并安装 uv（Cosmos Framework 要求 uv >= 0.11.3）
可用的 NVIDIA CUDA 环境（安装使用 --torch-backend=cu128 等 CUDA 后端）
Hugging Face 账号，并能创建访问令牌（access token）
已申请并获得 gated 仓库 nvidia/Cosmos-1.0-Guardrail 的访问权限（Generator 必需）
磁盘空间充足，或可挂载共享/大容量缓存盘用于存放模型（HF_HOME）

安装与启动步骤

1确认 uv 版本

Cosmos Framework 通过 pyproject.toml 强制要求 uv >= 0.11.3，版本过旧会解析配置失败或无法识别 cu130 等新参数。
```
uv self update
```
2创建 HF 令牌

在 Hugging Face 网站创建 access token；这是运行示例前的前置条件，令牌需要能读取所用模型仓库。
3本地认证 Hugging Face

用官方 CLI 在本地完成登录，认证后后续示例才能拉取 NVIDIA Cosmos 模型权重。
```
uvx hf@latest auth login
```
4申请 Guardrail 权限

Generator 路径依赖 gated 仓库 nvidia/Cosmos-1.0-Guardrail，需先在该页面申请访问并通过审核。
5设置缓存目录

如需共享缓存或磁盘空间不足，可设置 HF_HOME 把模型缓存指向更大容量的磁盘，否则可跳过。
```
export HF_HOME=/your/path/hf-cache
```
6准备 NIM 密钥

只有 NIM 路径用 NGC API key 替代 Hugging Face 认证，其他 Generate/Reasoner 路径不需要这一步。
```
export NGC_API_KEY=nvapi-xxxxxxxx
```
7运行 Quickstart

按 README Quickstart 选择一条路径（Diffusers、vLLM-Omni、NIM、SGLang 或 Transformers、vLLM、TensorRT-LLM）。

关键配置

配置项	必填	说明	示例
`HF_HOME`	否	指定 Hugging Face 模型缓存目录，便于共享或使用大容量磁盘	`/your/path/hf-cache`
`NGC_API_KEY`	否	NIM 示例使用的 NGC API key，替代 Hugging Face 认证	`nvapi-xxxxxxxx`
`enable_safety_checker`	否	Diffusers 路径关闭 Guardrail 检查的开关	`False`
`TRTLLM_DISABLE_COSMOS3_GUARDRAILS`	否	TensorRT-LLM 路径关闭 Guardrail 的环境变量	`1`
`use_guardrails`	否	TensorRT-LLM 通过 extra_params 控制是否启用 Guardrail	`false`
`guardrails`	否	vLLM-Omni 的 extra_params/extra_args 中控制 Guardrail 的字段	`false`

如何确认成功

所选 Quickstart notebook 能无报错跑通，成功输出生成视频或推理结果，且 Guardrail 校验通过。

常见问题

Q：uv 安装或 sync 时报错怎么办？

A：多为 uv 版本过旧。Cosmos Framework 要求 uv >= 0.11.3，执行 uv self update 升级，或从 https://astral.sh/uv 重新安装。

Q：torch.cuda.is_available() 返回 False？

A：属于 README 的 Troubleshooting 场景，请对照其中 Which CUDA version should I use 与 Which base container should I use 两节，检查 CUDA 版本与基础容器是否匹配。

Q：运行 Generator 时 Guardrail 报错？

A：需先获得 gated 仓库 nvidia/Cosmos-1.0-Guardrail 的访问权限；也可按所用路径关闭，如 Diffusers 设 enable_safety_checker=False。

Q：不想用 Hugging Face 认证可以吗？

A：NIM 路径改用 NGC API key（环境变量 NGC_API_KEY），其余路径仍走 Hugging Face 登录。

注意事项

README 节选未给出完整安装命令，其中的 uv pip install --torch-backend=cu128 在原文里被截断，请以官方 README 完整命令为准。
Generator 相关路径必须先通过 nvidia/Cosmos-1.0-Guardrail 的 gated 仓库访问申请。
关闭 Guardrail 的开关因推理后端而异：Diffusers、TensorRT-LLM、vLLM-Omni、Cosmos Framework 各不相同。
节选只覆盖 Quickstart 的认证与权限部分，各后端具体运行命令需查看 README 对应小节。

核心亮点

提供预训练世界基础模型与Tokenizer，可直接生成物理合理的合成视频，无需从零训练
配套数据集、后训练与推理脚本齐全，Notebook 形式降低上手门槛
背靠 NVIDIA 生态，与仿真、训练工具链衔接，适合机器人和自动驾驶落地

不足之处

对显存和算力要求高，普通开发者本地跑完整流程门槛不低
世界模型的物理一致性和长时程可控性仍在演进，生成质量需按场景验证

适用场景

机器人操作策略训练：用合成视频扩充稀缺的真实操作数据
自动驾驶场景生成：批量构造罕见corner case用于感知与规划测试
智能基础设施仿真：为监控、巡检类AI生成多样化环境数据

替代项目

Genesis、Open-Sora、GAIA-1

项目介绍

cosmos 是开源模型领域的开源项目，由 NVIDIA 开发，2024 年首次发布。

在全站 12,822 个收录项目中，它的 GitHub 星标数（11,870）位列前 5%，在开源模型分类的 421 个项目里位列前 6%。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-20。开源模型免费，NVIDIA云服务按需付费。从国内网络环境看，可直接访问。

它主要面向的使用场景是：机器人操作策略训练：用合成视频扩充稀缺的真实操作数据。同类可对比的替代方案包括 Genesis、Open-Sora、GAIA-1。

上一篇：tabpfn-time-series

下一篇：没有了！