talk2bev

让自动驾驶地图能听懂人话，直接问答周围环境

Talk2BEV 是一个面向自动驾驶场景的语言增强型鸟瞰图（BEV）地图开源项目，发表于 ICRA 2024。它解决了传统 BEV 感知结果难以被自然语言直接查询和交互的问题，将视觉语言模型（VLM）与 BEV 空间表示相结合，使系统能够理解并回答关于车辆周围环境的复杂空间问题。核心能力包括：将 BEV 特征图与语言模型对齐，支持基于文本的区域级查询（如“左前方是否有停车标志”）、目标属性推理、空间关系理解，以及多模态推理（结合图像和 BEV 特征）。项目提供完整的训练、评估和可视化代码，并基于公开数据集（如 nuScenes）进行验证，为自动驾驶的可解释性和人机交互提供了新范式。