chat-with-nerf

用大白话问一句，NeRF 场景自动带你去看

Chat-with-NeRF 是一个将自然语言交互与神经辐射场（NeRF）结合的学术原型项目，发表于 ICRA 2024。它解决的核心问题是：传统 NeRF 模型只能通过相机位姿或手动指定路径进行查看，无法用自然语言直接查询或操作场景。该项目允许用户通过输入文字（如“展示厨房的俯视图”），系统利用 BLIP2 进行语言-视觉对齐，结合 LERF 的语义特征提取，将文本指令映射到 NeRF 的 3D 空间，并调用 ChatGPT/GPT-4 进行指令解析和路径规划，最终生成对应的相机轨迹或视角，实现基于语义的交互式场景浏览。核心能力包括：自然语言驱动的视角生成、多模态语义理解、与 NeRFstudio 生态集成。项目处于早期阶段，代码结构清晰，适合作为学术研究参考。