Uni3D
一个预训练模型搞定多种3D理解任务，零样本也能识别物体。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 690
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU
- Python 3.8
- 3D 数据集与权重
安装与启动步骤
-
1建环境
官方钉了 python 3.8，新版依赖解析容易出问题。
conda create -n uni3d python=3.8 -
2装 CUDA 版 PyTorch
按 cu118 索引装，版本要与驱动匹配。
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia -
3装项目依赖
requirements 里有编译包，需要 gcc 与 CUDA 头文件。
pip install -r requirements.txt -
4补装点云算子
Pointnet2 的编译扩展要单独装，失败时检查 subdirectory 参数。
pip install git+https://github.com/erikwijmans/Pointnet2_PyTorch.git#egg=pointnet2_ops&subdirectory=pointnet2_ops_lib -
5跑下游任务
先跑分类这类轻任务验证权重可用，再试分割。
如何确认成功
分类任务能输出预测结果且指标合理
注意事项
- Pointnet2 编译是最大的坑，版本不匹配会一直失败。
- 3D 数据预处理耗时，建议先小样本跑通流程。
核心亮点
- 基于大规模3D数据预训练，特征泛化能力强，支持零样本分类和检索
- 采用Transformer架构，可灵活适配多种下游任务，如分割、检测
- 与CLIP对齐，支持文本-3D跨模态理解，拓展应用边界
不足之处
- 文档/社区待观察，早期项目，使用教程和社区支持有限
- 主要针对点云数据，对网格、多视图等3D格式支持不足
适用场景
- 机器人抓取与导航中的3D物体识别
- 自动驾驶场景下的点云语义分割
- 3D资产库的自动分类与文本检索
替代项目
Point-BERT、Point-M2AE、ULIP
同类项目推荐
x-unet
开源
用最新注意力机制升级 U-Net，提升图像生成与分割效果
Implementation of a U-net complete with efficient attention as well as the latest re···
holocron
开源
即插即用的 CV 技巧库，快速复现论文模块
PyTorch implementations of recent Computer Vision tricks (ReXNet, RepVGG, Unet3p, YO···
mvdfusion
开源
单张图片，生成多视角一致的3D模型
[CVPR 2024] MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation
2d-diffusion-limited-aggregation···
开源
用物理模拟生成有机分形图案，探索形态设计新玩法
Visual experiments exploring diffusion-limited aggregation (DLA) as a 2D morphogenes···
EscherNet
开源
从几张照片生成任意视角新图，3D重建更轻松
[CVPR2024 Oral] EscherNet: A Generative Model for Scalable View Synthesis
RapidOCR
开源
多语言、多引擎的OCR工具集，一行代码搞定文字识别
Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, ···
VoxPoser
开源
说句话，机器人就能干活，无需训练直接上手
VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
Image_Preprocessing_Techniques
开源
一站式图像预处理工具箱，快速提升模型训练效果
image-preprocessing-techniques
mamma
开源
从视频直接捕捉多人3D动作，无需标记点，精度高。
Official code for MAMMA: Markerless Accurate Multi-person Motion Acquisition.