ml-hypersim 是数据集领域的开源项目,由 apple-aiml-research 开发,2020 年首次发布。
在全站 12,822 个收录项目中,它的 GitHub 星标数(2,050)位列前 30%,在数据集分类中处于中上游。
项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-20。开源数据集,免费使用。
它主要面向的使用场景是:训练单目室内深度估计与表面法线预测模型。同类可对比的替代方案包括 ScanNet、SUN RGB-D。

用苹果合成室内数据,低成本训出强场景理解模型
ml-hypersim 是苹果发布的 Hypersim 数据集配套工具库,用于室内场景理解研究。它提供约 7.7 万张高逼真合成室内图像,每张图都带有像素级语义分割、实例分割、深度图、表面法线、光照与材质等密集标注,覆盖 461 个室内场景和 4 万多张渲染图。项目解决真实室内数据标注成本高、隐私敏感、难以获得完整几何与光照真值的问题,让研究者能在可控条件下训练和评测单目深度估计、语义分割、法线估计、室内布局理解等任务。核心能力包括数据下载与组织脚本、Python 读取接口、相机参数与场景元数据访问,以及与 PyTorch 等框架配合的示例代码。
1创建并激活环境
在仓库根目录执行,用 requirements.txt 一次性安装全部必需 Python 库,并激活新建的 hypersim-env 环境。
conda create --name hypersim-env --file requirements.txt
conda activate hypersim-env2安装可选库
mayavi、opencv、pillow 属于可选依赖,可按需单独安装,缺失它们不影响核心管线。
pip install mayavi
conda install -c conda-forge opencv
conda install -c anaconda pillow3配置 V-Ray 路径
把 V-Ray Standalone 的 bin 加入 PATH,把 AppSDK 的 bin 加入 DYLD_LIBRARY_PATH,示例路径需改成你自己的安装位置。
export PATH=$PATH:/Applications/ChaosGroup/V-Ray/Standalone_for_mavericks_x64/bin
export DYLD_LIBRARY_PATH=$DYLD_LIBRARY_PATH:/Applications/ChaosGroup/V-Ray/AppSDK/bin4复制 AppSDK 库
把 AppSDK bin 下的动态库与 plugins 目录手动复制到 ml-hypersim/code/python/tools,示例路径需替换为实际路径。
cp /Applications/ChaosGroup/V-Ray/AppSDK/bin/libcgauth.dylib /Users/mike/code/github/ml-hypersim/code/python/tools
cp /Applications/ChaosGroup/V-Ray/AppSDK/bin/libvray.dylib /Users/mike/code/github/ml-hypersim/code/python/tools
cp /Applications/ChaosGroup/V-Ray/AppSDK/bin/libvrayopenimageio.dylib /Users/mike/code/github/ml-hypersim/code/python/tools
cp /Applications/ChaosGroup/V-Ray/AppSDK/bin/libvrayosl.dylib /Users/mike/code/github/ml-hypersim/code/python/tools
cp /Applications/ChaosGroup/V-Ray/AppSDK/bin/libVRaySDKLibrary.dylib /Users/mike/code/github/ml-hypersim/code/python/tools
cp -a /Applications/ChaosGroup/V-Ray/AppSDK/bin/plugins /Users/mike/code/github/ml-hypersim/code/python/tools5验证 AppSDK 安装
运行官方检查脚本,若输出配置正确的提示信息说明环境就绪,否则需回头检查环境变量和复制的库文件。
python code/python/tools/check_vray_appsdk_install.py6生成占据图
必须在 macOS 或 Linux 上执行,处理 Volume 1-9 的场景;要等上一步渲染与下载全部完成后才能开始。
python code/python/tools/dataset_generate_octomaps.py --dataset_dir /Volumes/portable_hard_drive/evermotion_dataset --scene_names "ai_00*"7生成相机轨迹
同样限定在 macOS 或 Linux 执行,输入与输出目录沿用上一步,继续处理同一批场景。
python code/python/tools/dataset_generate_camera_trajectories.py --dataset_dir /Volumes/portable_hard_drive/evermotion_dataset --scene_names "ai_00*"8生成 3D 边界框
在 macOS 或 Linux 上执行,bounding_box_type 取 object_aligned_2d,场景范围保持与前几步一致。
python code/python/tools/dataset_generate_bounding_boxes.py --dataset_dir /Volumes/portable_hard_drive/evermotion_dataset --bounding_box_type object_aligned_2d --scene_names "ai_00*"| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
dataset_dir | 是 | 数据集的输出目录,用于管线各步骤读写 | /Volumes/portable_hard_drive/evermotion_dataset |
dataset_dir_when_rendering | 是 | 渲染时的数据集绝对路径,Windows 盘符必须始终一致 | D:/hypersim_dataset |
downloads_dir | 是 | 存放从云端下载数据的目录,可用相对路径 | downloads |
scene_names | 是 | 指定要处理的场景,支持通配符匹配 | ai_00* |
bounding_box_type | 是 | 生成 3D 边界框时使用的类型 | object_aligned_2d |
执行 python code/python/tools/check_vray_appsdk_install.py,若打印 [HYPERSIM: CHECK_VRAY_APPSDK_INSTALL] The V-Ray AppSDK is c
Q:只装 Python 环境就能用吗?
A:requirements.txt 只装 Python 库;渲染依赖 V-Ray Standalone 和 V-Ray AppSDK,需另行安装并配置 PATH 与 DYLD_LIBRARY_PATH。
Q:为什么有的步骤只能在某个系统执行?
A:管线部分步骤必须 Windows,部分必须 macOS 或 Linux,因此输出目录要在两个系统都可见,建议放在便携硬盘上。
Q:一次应该处理多少场景?
A:README 建议每批 10 个 volume(约 100 个场景),每批单独存到一个 4TB 硬盘,批太大会因中间数据过多而撑爆磁盘。
Q:scene_names 参数怎么写?
A:支持通配符:ai_001_001 指 Volume 1 Scene 1,ai_001_* 指整个 Volume 1,ai_00* 指 Volume 1-9。
Q:每一步可以连续执行吗?
A:不可以,必须等待每次渲染通过完成、且数据全部从云端下载结束后,才能进行下一步。
ScanNet、SUN RGB-D
ml-hypersim 是数据集领域的开源项目,由 apple-aiml-research 开发,2020 年首次发布。
在全站 12,822 个收录项目中,它的 GitHub 星标数(2,050)位列前 30%,在数据集分类中处于中上游。
项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-20。开源数据集,免费使用。
它主要面向的使用场景是:训练单目室内深度估计与表面法线预测模型。同类可对比的替代方案包括 ScanNet、SUN RGB-D。
X-AnyLabeling
开源
一站式AI辅助标注,图像视频文本通吃,导出格式随心配
X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···
aisheets
开源
像用表格一样批量调 AI,不写代码就能造和改数据集
Build, enrich, and transform datasets using AI models with no code
distilabel
开源
基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。
Distilabel is a framework for synthetic data and AI feedback for engineers who need ···
DataGen
开源
用大模型一键生成定制化训练数据,告别数据荒
[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models