MiniGPT-3D

一张3090显卡，让大模型看懂3D点云并对话

开源 🏷️定价信息待确认 ✅ 目前可打开 对话助手 🍴 复刻 9 🐛 待处理 3 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 132
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

MiniGPT-3D 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队TangYuan96
官网地址https://tangyuan96.github.io/minigpt_3d_project_page
GitHubhttps://github.com/TangYuan96/MiniGPT-3D
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
主要语言Python
技术栈/模型3d,chatbot,point-cloud,representation-learning
GitHub 星标★ 132
上线时间2024-04-30 00:00:00
代码更新2026-03-20
仓库体积24.5 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

MiniGPT-3D 是一个面向 3D 点云理解与对话的开源项目，旨在让大语言模型（LLM）直接理解三维空间信息。它解决了传统方法需要高算力或复杂多模态融合的问题，通过利用 2D 先验知识高效对齐 3D 点云与 LLM，仅需一张 RTX 3090 显卡即可训练和推理。核心能力包括：将 3D 点云编码为 LLM 可理解的 token，支持基于点云的自然语言问答、描述和推理；采用轻量级对齐模块，降低计算资源需求；提供完整的训练和评估流程。该项目发表于 ACM Multimedia 2024，适合学术研究和工业原型验证，尤其适合资源有限但需要 3D 理解能力的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 132

核心亮点

  • 仅需单张 RTX 3090 即可训练，硬件门槛低
  • 利用 2D 先验高效对齐，减少 3D 数据依赖
  • 提供完整的训练、评估和推理代码，易于复现

不足之处

  • 项目处于早期，文档和社区支持待观察
  • 3D 点云对话的泛化能力可能受限于训练数据规模

适用场景

  • 3D 场景理解与交互式问答
  • 机器人导航中的环境感知与指令跟随
  • 自动驾驶中基于点云的场景描述和决策辅助

替代项目

Point-BERT、3D-LLM、PointLLM

上一篇：llm-metahuman

下一篇：portfolio-website

同类项目推荐

awesome-ai-vtubers 开源

逛一圈，找到你想要的AI虚拟主播项目

A curated list of AI VTubers and their related projects

★ 519 2026-08-09
DiffusionGAN3D 开源

融合3D GAN与扩散先验，让文本快速生成高质量3D模型

[CVPR2024] DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation ···

★ 70 2026-08-09
Animate3D 开源

上传静态3D模型，一键生成多视角动态动画视频。

[NeurIPS 2024] Animate3D: Animating Any 3D Model with Multi-view Video Diffusion

★ 259 2026-08-09
LangScene-X 开源

用视频扩散模型，一句话重建带语义的 3D 场景

[ICCV 2025] LangScene-X: Reconstruct Generalizable 3D Language-Embedded Scenes with ···

★ 303 2026-08-09
ProtoMotions 开源

让数字人和机器人学会真实物理运动，训练快人一步

ProtoMotions is a GPU-accelerated simulation and learning framework for training phy···

★ 2483 2026-08-09
Talking_Face_Avatar 开源

一张图+一段音频，生成会说话的角色头像视频

Avatar Generation For Characters and Game Assets Using Deep Fakes

★ 237 2026-08-09
Awesome-Gaussian-Skills 开源

3D图形学论文+AI技能，一键调用加速研究

1000+ arXiv-verified 3DGS methods · 15 AI agent skills · MCP server (34 tools) · ···

★ 180 2026-08-09
realvirtual-WEB 开源

浏览器打开就能看工业数字孪生，无需装客户端

Browser-based 3D-HMI for industrial automation — Three.js/TypeScript viewer for rea···

★ 186 2026-10-08
DigitalLife 开源

给AI装上记忆和Live2D身体，打造能记住你的虚拟生命

一个具有长时记忆和 Live2d 形象的"数字生命" / A digital life with long-term memories ···

★ 51 2026-08-09