项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 12255
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境,并安装 uv(Cosmos Framework 要求 uv >= 0.11.3)
- 可用的 NVIDIA CUDA 环境(安装使用 --torch-backend=cu128 等 CUDA 后端)
- Hugging Face 账号,并能创建访问令牌(access token)
- 已申请并获得 gated 仓库 nvidia/Cosmos-1.0-Guardrail 的访问权限(Generator 必需)
- 磁盘空间充足,或可挂载共享/大容量缓存盘用于存放模型(HF_HOME)
安装与启动步骤
-
1确认 uv 版本
Cosmos Framework 通过 pyproject.toml 强制要求 uv >= 0.11.3,版本过旧会解析配置失败或无法识别 cu130 等新参数。
uv self update -
2创建 HF 令牌
在 Hugging Face 网站创建 access token;这是运行示例前的前置条件,令牌需要能读取所用模型仓库。
-
3本地认证 Hugging Face
用官方 CLI 在本地完成登录,认证后后续示例才能拉取 NVIDIA Cosmos 模型权重。
uvx hf@latest auth login -
4申请 Guardrail 权限
Generator 路径依赖 gated 仓库 nvidia/Cosmos-1.0-Guardrail,需先在该页面申请访问并通过审核。
-
5设置缓存目录
如需共享缓存或磁盘空间不足,可设置 HF_HOME 把模型缓存指向更大容量的磁盘,否则可跳过。
export HF_HOME=/your/path/hf-cache -
6准备 NIM 密钥
只有 NIM 路径用 NGC API key 替代 Hugging Face 认证,其他 Generate/Reasoner 路径不需要这一步。
export NGC_API_KEY=nvapi-xxxxxxxx -
7运行 Quickstart
按 README Quickstart 选择一条路径(Diffusers、vLLM-Omni、NIM、SGLang 或 Transformers、vLLM、TensorRT-LLM)。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
HF_HOME | 否 | 指定 Hugging Face 模型缓存目录,便于共享或使用大容量磁盘 | /your/path/hf-cache |
NGC_API_KEY | 否 | NIM 示例使用的 NGC API key,替代 Hugging Face 认证 | nvapi-xxxxxxxx |
enable_safety_checker | 否 | Diffusers 路径关闭 Guardrail 检查的开关 | False |
TRTLLM_DISABLE_COSMOS3_GUARDRAILS | 否 | TensorRT-LLM 路径关闭 Guardrail 的环境变量 | 1 |
use_guardrails | 否 | TensorRT-LLM 通过 extra_params 控制是否启用 Guardrail | false |
guardrails | 否 | vLLM-Omni 的 extra_params/extra_args 中控制 Guardrail 的字段 | false |
如何确认成功
所选 Quickstart notebook 能无报错跑通,成功输出生成视频或推理结果,且 Guardrail 校验通过。
常见问题
Q:uv 安装或 sync 时报错怎么办?
A:多为 uv 版本过旧。Cosmos Framework 要求 uv >= 0.11.3,执行 uv self update 升级,或从 https://astral.sh/uv 重新安装。
Q:torch.cuda.is_available() 返回 False?
A:属于 README 的 Troubleshooting 场景,请对照其中 Which CUDA version should I use 与 Which base container should I use 两节,检查 CUDA 版本与基础容器是否匹配。
Q:运行 Generator 时 Guardrail 报错?
A:需先获得 gated 仓库 nvidia/Cosmos-1.0-Guardrail 的访问权限;也可按所用路径关闭,如 Diffusers 设 enable_safety_checker=False。
Q:不想用 Hugging Face 认证可以吗?
A:NIM 路径改用 NGC API key(环境变量 NGC_API_KEY),其余路径仍走 Hugging Face 登录。
注意事项
- README 节选未给出完整安装命令,其中的 uv pip install --torch-backend=cu128 在原文里被截断,请以官方 README 完整命令为准。
- Generator 相关路径必须先通过 nvidia/Cosmos-1.0-Guardrail 的 gated 仓库访问申请。
- 关闭 Guardrail 的开关因推理后端而异:Diffusers、TensorRT-LLM、vLLM-Omni、Cosmos Framework 各不相同。
- 节选只覆盖 Quickstart 的认证与权限部分,各后端具体运行命令需查看 README 对应小节。
核心亮点
- 提供预训练世界基础模型与Tokenizer,可直接生成物理合理的合成视频,无需从零训练
- 配套数据集、后训练与推理脚本齐全,Notebook 形式降低上手门槛
- 背靠 NVIDIA 生态,与仿真、训练工具链衔接,适合机器人和自动驾驶落地
不足之处
- 对显存和算力要求高,普通开发者本地跑完整流程门槛不低
- 世界模型的物理一致性和长时程可控性仍在演进,生成质量需按场景验证
适用场景
- 机器人操作策略训练:用合成视频扩充稀缺的真实操作数据
- 自动驾驶场景生成:批量构造罕见corner case用于感知与规划测试
- 智能基础设施仿真:为监控、巡检类AI生成多样化环境数据
替代项目
Genesis、Open-Sora、GAIA-1
下一篇:llm.pdf
同类项目推荐
how-to-optim-algorithm-in-cuda
开源
手把手教你榨干GPU性能,从入门到精通CUDA优化
how to optimize some algorithm in cuda.
Awesome-VLGFM
开源
一张清单看懂视觉语言地理模型全貌
A Survey on Vision-Language Geo-Foundation Models (VLGFMs)
KG-LLM-Papers
开源
一页看尽知识图谱×大模型全部关键论文
[Paper List] Papers integrating knowledge graphs (KGs) and large language models (LL···
GLM-5
开源
让AI从写代码升级为自主干工程,直接交付可运行结果
GLM-5: From Vibe Coding to Agentic Engineering
MakeMoneyWithAI
开源
翻开源清单,找能赚钱的 AI 项目,快速变现
A list of open-source AI projects you can use to generate income easily.
sd-akashic
开源
一站式查阅 Stable Diffusion 知识库,快速上手与进阶
A compendium of informations regarding Stable Diffusion (SD)
fast-stable-diffusion
开源
一键加速 SD 训练与生成,低配也能玩转 DreamBooth
fast-stable-diffusion + DreamBooth
OralGPT
开源
让 AI 看懂口腔影像,辅助诊断和报告生成
[NeurIPS'25 | CVPR'26] The official repo of OralGPT & MMOral Bench.
InternVL
开源
开源接近GPT-4o的多模态对话模型,图像理解与对话一步到位。
[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接···
