ShapeLLM

让 AI 看懂并操作 3D 物体,赋能机器人交互

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 17 🐛 待处理 15 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 248
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

ShapeLLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队qizekun
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型3d-point-clouds,large-language-models,representation-learning
GitHub 星标★ 248
上线时间2024-02-28 00:00:00
代码更新2024-10-08
仓库体积2.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

ShapeLLM 是一个面向具身交互的通用 3D 物体理解模型,由 ECCV 2024 论文提出。它解决了传统 3D 模型难以同时处理点云感知、语言对齐和交互推理的问题,核心能力包括:基于点云的 3D 物体识别与定位、多轮视觉-语言对话、以及面向机器人操作的交互式理解。项目采用两阶段训练策略,先通过 3D 基础模型对齐视觉与语言,再在指令微调数据上增强交互能力。代码基于 PyTorch 实现,提供推理和训练脚本,支持自定义数据微调。作为早期开源项目,其架构设计对 3D 多模态研究有参考价值,但依赖外部 3D 骨干网络和预训练权重。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 248

核心亮点

  • 首个面向具身交互的 3D 多模态模型,研究定位新颖
  • 提供完整训练与推理代码,支持自定义数据微调
  • 在 3D 物体理解基准上验证了多轮对话能力

不足之处

  • 依赖外部 3D 骨干网络和预训练权重,部署门槛较高
  • 文档/社区待观察,示例和教程较少

适用场景

  • 机器人抓取与操作前的物体识别
  • 3D 场景中的人机自然语言交互
  • 自动驾驶中的点云目标理解

替代项目

LLaVA、Point-BERT、3D-LLM

上一篇:BlenderLLM

下一篇:HoloMotion

同类项目推荐

GShell 开源

用壳层+幽灵节点,让3D形状表达更自由

Official implentation of "Ghost on the Shell: An Expressive Representation of Genera···

★ 261 2026-08-09
ScaleDreamer 开源

用文本快速生成高质量 3D 模型,省显存又高效

[ECCV2024] ScaleDreamer: Scalable Text-to-3D Synthesis with Asynchronous Score Disti···

★ 54 2026-08-09
AI-Waifu-Vtuber 开源

让二次元角色替你在直播中实时聊天互动

AI Vtuber for Streaming on Youtube/Twitch

★ 1123 2026-08-09
Blend_My_NFTs 开源

用 Blender 批量生成数千个 3D 变体,一键搞定 NFT 系列

Easily generate thousands of 3D models, images, and animation automatically in Blend···

★ 1020 2026-08-09
chat-with-nerf 开源

用大白话问一句,NeRF 场景自动带你去看

[ICRA 2024] Chat with NeRF enables users to interact with a NeRF model by typing in ···

★ 322 2026-08-09
LLMUnity 开源

在 Unity 里拖拽几下,就能让 NPC 开口聊大模型。

Create characters in Unity with LLMs!

★ 1735 2026-08-09
LangQing 开源

和数字人实时对答如流,像真人视频通话。

SOTA real-time interactive AI avatar platform for multimodal conversational digital ···

★ 6 2026-08-09
mixar-app 开源

在 Blender 里用 AI 从灵感板一路做到贴图

AI-powered 3D suite built on Blender, with an integrated agent, moodboard, generatio···

★ 593 2026-10-27
video_to_world 开源

把AI生成的视频变成可探索的3D世界

Our method reconstructs 3D worlds from video diffusion models using non-rigid alignm···

★ 330 2026-08-09