PointLLM

让大模型看懂三维点云，直接对话物体细节

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署对话助手 🍴 复刻 59 🐛 待处理 9 👀 关注 13

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1064

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，代码公开，可自行部署使用，无收费计划。

项目预览

项目数据

分类对话助手

开发团队InternRobotics

官网地址https://runsenxu.com/projects/PointLLM

GitHubhttps://github.com/InternRobotics/PointLLM

定价模式🏷️完全免费

价格说明开源项目，代码公开，可自行部署使用，无收费计划。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

主要语言Python

技术栈/模型3d,chatbot,foundation-models,gpt-4,large-language-models,llama,multimodal,objaverse,point-cloud,pointllm,representation-learning,vision-and-language

GitHub 星标★ 1064

上线时间2023-08-17 00:00:00

代码更新2026-05-15

仓库体积3.5 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

PointLLM 是一个让大语言模型直接理解三维点云的开源多模态模型，解决了传统大模型只能处理文本和图像、无法感知三维结构的问题。它首次将点云编码器与 LLaMA 等大语言模型深度融合，通过两阶段训练（先对齐点云与文本特征，再指令微调）实现三维物体识别、描述和自然语言问答。核心能力包括：基于 Objaverse 大规模三维数据集训练、支持点云与文本的跨模态理解、可生成细粒度的物体描述并回答开放性问题。项目提供了完整的训练、评估和推理代码，并附带人工评估基准，在三维理解任务上显著优于现有方法。其创新点在于将点云表示与大模型生成能力结合，为具身智能、三维场景理解等方向提供了基础模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1064

技术标签

3d chatbot foundation-models gpt-4 large-language-models

使用教程

难度：进阶约 10 分钟部署方式：本地安装 4 步

环境要求

Ubuntu 20.04 操作系统
NVIDIA 显卡驱动 515.65.01，CUDA 11.7
Python 3.10.13（README 用 conda 创建 python=3.10 环境）
PyTorch 2.0.1
Transformers 4.28.0.dev（transformers.git@cae78c46）
已安装 conda 与 git，并能访问 GitHub

安装与启动步骤

1克隆项目仓库

从 README 给出的 SSH 地址克隆仓库并进入项目目录，需提前配置好 GitHub SSH key。
```
git clone git@github.com:OpenRobotLab/PointLLM.git
cd PointLLM
```
2创建 conda 环境

新建名为 pointllm 的独立环境，Python 版本按 README 固定为 3.10，避免污染系统环境。
```
conda create -n pointllm python=3.10 -y
```
3激活环境并升级 pip

激活刚创建的环境，再升级 pip 以支持 PEP 660 的可编辑安装方式。
```
conda activate pointllm
pip install --upgrade pip
```
4安装依赖包

在项目根目录执行可编辑安装，按照 setup 脚本自动拉取并安装 PointLLM 全部依赖。
```
pip install -e .
```

如何确认成功

README 节选只覆盖安装步骤，未给出启动或推理命令；环境激活后能正常导入项目包即视为安装成功。

常见问题

Q：克隆时提示 Permission denied (publickey) 怎么办？

A：README 给出的是 SSH 地址，需先在本地配置 GitHub SSH key；若使用 HTTPS 方式，请自行核对仓库的正确 HTTPS 地址后再克隆。

Q：没有 NVIDIA 显卡可以运行吗？

A：README 的测试环境为 NVIDIA 驱动 515.65.01 + CUDA 11.7，说明依赖 NVIDIA GPU；节选中没有提供纯 CPU 的运行方案。

Q：conda 环境名必须是 pointllm 吗？

A：不是必须的，可以自行改名，但创建与激活时的名称要保持一致，后续命令中的环境名需同步替换。

Q：Transformers 4.28.0.dev 怎么安装？

A：README 只标注了版本来源为 transformers.git@cae78c46，没有给出具体安装命令，需要按仓库说明从对应提交安装。

注意事项

README 节选只包含 Installation 部分，训练、评估、推理命令均未提供，需查看仓库其他文档。
README 里的克隆地址是 git@github.com:OpenRobotLab/PointLLM.git，与项目主页显示的 InternRobotics/PointLLM 不同，克隆失败时请核对仓库地址。
建议保留 conda 环境隔离，Python 版本严格按 README 使用 3.10。