chat-with-nerf

用大白话问一句,NeRF 场景自动带你去看

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 22 🐛 待处理 3 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 322
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可,可自行部署使用,无收费计划。

项目预览

chat-with-nerf 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队sled-group
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可,可自行部署使用,无收费计划。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型blip2,chatgpt,gpt-4,lerf,nerf,nerfstudio
GitHub 星标★ 322
上线时间2023-04-27 00:00:00
代码更新2025-10-10
仓库体积36.3 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数9

项目介绍

Chat-with-NeRF 是一个将自然语言交互与神经辐射场(NeRF)结合的学术原型项目,发表于 ICRA 2024。它解决的核心问题是:传统 NeRF 模型只能通过相机位姿或手动指定路径进行查看,无法用自然语言直接查询或操作场景。该项目允许用户通过输入文字(如“展示厨房的俯视图”),系统利用 BLIP2 进行语言-视觉对齐,结合 LERF 的语义特征提取,将文本指令映射到 NeRF 的 3D 空间,并调用 ChatGPT/GPT-4 进行指令解析和路径规划,最终生成对应的相机轨迹或视角,实现基于语义的交互式场景浏览。核心能力包括:自然语言驱动的视角生成、多模态语义理解、与 NeRFstudio 生态集成。项目处于早期阶段,代码结构清晰,适合作为学术研究参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 322

技术标签

核心亮点

  • 直接支持自然语言指令控制 NeRF 视角,降低交互门槛
  • 集成 BLIP2 和 LERF,语义定位准确,能理解物体级描述
  • 基于 nerfstudio 构建,易于扩展和复现实验

不足之处

  • 依赖 GPT-4 等商业 API,运行成本高且离线不可用
  • 仅支持静态场景,无法处理动态变化
  • 文档/社区待观察

适用场景

  • 学术研究:探索 NeRF 与语言模型结合的新交互范式
  • 数字孪生:通过自然语言快速查看三维场景的关键区域
  • 机器人导航:为机器人提供基于语义的路径规划参考

替代项目

LERF、NeRF-ART、OpenNeRF

上一篇:fay-desk

下一篇:text2room

同类项目推荐

THREE.Terrain 开源

几行代码在网页里生成可交互的 3D 地形

A procedural terrain generation engine for use with the Three.js 3D graphics library···

★ 919 2026-10-27
-Prototype-AIVTuber 开源

用GPT-3和VTuber引擎,快速搭建AI虚拟主播,实现直播自动互动。

a open-source Artificial Intelligence Virtual Youtuber (AI VTuber), (this project is···

★ 435 2026-08-09
XnneHangLab 开源

给虚拟老婆装上耳朵和嘴巴,还能记住你们的事

希望用代码为 waifus 绘心。

★ 101 2026-08-09
Human101 开源

单视角视频,百秒训练,百帧渲染,快速生成可驱动3D数字人

The official implementation of "Human101: Training 100+FPS Human Gaussians in 100s f···

★ 110 2026-08-09
xiaokeai 开源

桌面 3D 角色陪你语音聊天,还会抽塔罗

Open-source 3D AI companion and transparent desktop pet. Also: 开源 3D AI 伴侣, 本地···

★ 341 2026-09-27
Arc2Face 开源

一张照片,生成身份一致的多表情人脸图

[ECCV 2024 Oral ] Arc2Face: A Foundation Model for ID-Consistent Human Faces -------···

★ 809 2026-08-09
reflect3r 开源

单张照片+镜子,重建出完整 3D 立体模型

[3DV 2026] Reflect3r: Single-View 3D Stereo Reconstruction Aided by Mirror Reflectio···

★ 122 2026-08-09
SadTalker 开源

一张照片+一段语音,生成逼真说话数字人视频

[CVPR 2023] SadTalker:Learning Realistic 3D Motion Coefficients for Stylized Audio-···

★ 14188 2026-08-09
3D-Fixer 开源

单张照片,一键补全缺失 3D 场景,细节自然不穿帮

[CVPR 2026] 3D-Fixer: Coarse-to-Fine In-place Completion for 3D Scenes from a Single···

★ 116 2026-08-09