项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 445
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 多卡 NVIDIA GPU
- Python 3.8
- 较大磁盘空间
安装与启动步骤
-
1建环境
官方指定 Python 3.8，新版依赖装不上。
conda create -n gpt4point python=3.8 -
2装视觉语言基座
它基于 LAVIS，先装这个再装本仓库。
pip install salesforce-lavis -
3拉 LAVIS 并装成本地包
版本要匹配，直接用 pypi 的最新版常对不上。
git clone https://github.com/salesforce/LAVIS.git && pip install -e . -
4下 3D 数据
它用 Objaverse 一类数据集，仓库里有下载脚本。
-
5跑训练脚本
多卡脚本，先改成本机卡数。
python -m torch.distributed.run --master_port=32339 --nproc_per_node=4 train.py --cfg-path lavis/projects/gpt4point/train/pretrain_stage1_cap3d.yaml
如何确认成功
训练一个阶段后，给一个点云模型能生成带部件名称的描述，而不是只说「一个三维物体」
注意事项
- 它把点云与语言模型对齐，做的是 3D 理解与生成，不是常规图像任务。
- 作者说明训练部分仍需修改，评测部分更完整，复现预期要放低。
- 3D 数据集体积巨大，下载与预处理是主要时间成本。
- 多卡脚本写死卡数，单卡跑要改配置。
- 论文代码，接口不稳定。
核心亮点
- 首个统一框架同时覆盖点云理解与生成，任务范围广
- 提供PointQA数据集和基准，便于复现和对比
- 基于LLM架构，可复用成熟语言模型生态，扩展性强
不足之处
- 早期项目，文档和社区支持尚待完善
- 依赖大规模点云-文本配对数据，数据获取成本高
适用场景
- 3D内容自动生成与编辑，辅助游戏/影视资产制作
- 自动驾驶场景中基于语言指令的点云理解与交互
- 机器人抓取与操作中的3D场景语义解析
替代项目
PointCLIP、Point-BERT、ULIP
上一篇：ArtEq
下一篇：sparsefusion
同类项目推荐
RGBT-Tiny
开源
双模态小目标检测基准，直接跑通基线对比
Repository for "Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Basel···
YoChameleon
开源
上传一张照片，生成你主演的各种场景图
Yo'Chameleon: Your Personalized Chameleon (CVPR 2025)
2d-diffusion-limited-aggregation···
开源
用物理模拟生成有机分形图案，探索形态设计新玩法
Visual experiments exploring diffusion-limited aggregation (DLA) as a 2D morphogenes···
Mamba-YOLO
开源
用 Mamba 替 YOLO 主干，精度更高算力更省
the official pytorch implementation of “Mamba-YOLO：SSMs-based for Object Detection···
ComfyUI-BiRefNet-ZHO
开源
拖拽节点即可实现图像/视频高精度抠图，边缘细节惊艳
Better version for BiRefNet in ComfyUI | Both img & video
compv
开源
ARM/x86 上跑视觉算法，比 OpenCV 快最多 50 倍
Insanely fast Open Source Computer Vision library for ARM and x86 devices (Up to #50···
kimimaro
开源
一键提取3D分割骨架，助力神经元与血管分析
Skeletonize densely labeled 3D image segmentations with TEASAR. (Medial Axis Transfo···
hms-ml-demo
开源
照着示例，快速集成华为AI能力到安卓App
HMS ML Demo provides an example of integrating Huawei ML Kit service into applicatio···
AnomalyDINO
开源
用少量正常样本，精准揪出图像中的异常区域
[WACV2025] AnomalyDINO: Boosting Patch-based Few-shot Anomaly Detection with DINOv2