talk2bev

让自动驾驶地图能听懂人话，直接问答周围环境

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 12 🐛 待处理 8 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 126
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，BSD-3-Clause许可证，可自由使用，无付费版本。

项目预览

talk2bev 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队llmbev
官网地址https://llmbev.github.io/talk2bev
GitHubhttps://github.com/llmbev/talk2bev
定价模式🏷️完全免费
价格说明开源项目，BSD-3-Clause许可证，可自由使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
技术栈/模型autonomous-driving,birds-eye-view,gpt-4,large-language-models,large-vision-language-models,occupancy-grid-map
GitHub 星标★ 126
上线时间2023-09-15 00:00:00
代码更新2024-11-04
仓库体积145.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

Talk2BEV 是一个面向自动驾驶场景的语言增强型鸟瞰图（BEV）地图开源项目，发表于 ICRA 2024。它解决了传统 BEV 感知结果难以被自然语言直接查询和交互的问题，将视觉语言模型（VLM）与 BEV 空间表示相结合，使系统能够理解并回答关于车辆周围环境的复杂空间问题。核心能力包括：将 BEV 特征图与语言模型对齐，支持基于文本的区域级查询（如“左前方是否有停车标志”）、目标属性推理、空间关系理解，以及多模态推理（结合图像和 BEV 特征）。项目提供完整的训练、评估和可视化代码，并基于公开数据集（如 nuScenes）进行验证，为自动驾驶的可解释性和人机交互提供了新范式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 126

核心亮点

  • 首次将 VLM 与 BEV 地图深度融合，支持自然语言空间查询，创新性强
  • 提供完整训练与评估流程，基于 nuScenes 等标准数据集，易于复现
  • 可视化工具直观展示语言查询与 BEV 区域的对应关系，便于理解

不足之处

  • 项目处于早期阶段，文档和社区支持尚不完善
  • 依赖大规模预训练模型，部署和推理成本较高

适用场景

  • 自动驾驶系统的人机交互，用户用自然语言询问车辆周围环境
  • 自动驾驶可解释性分析，通过语言查询验证感知结果
  • 智能驾驶辅助功能，如语音播报前方障碍物或交通标志

替代项目

BEVFormer、MapTR、LidarBEV

上一篇：FrozenBiLM

下一篇：pyod

同类项目推荐

Groma 开源

让多模态模型精准指认图像中的每个区域，实现细粒度视觉定位。

[ECCV2024] Grounded Multimodal Large Language Model with Localized Visual Tokenizati···

★ 587 2026-08-09
face-emotion-recognition 开源

摄像头前做表情，AI陪你聊情绪

Real-time Face & emotion recognition system using a lightweight CNN, with OpenCV web···

★ 55 2026-08-09
Looking-Back-OCR 开源

用 AI 把越南语古籍旧书扫描件转成可编辑文字

Công cụ OCR tài liệu, sách xưa tiếng Việt bằng Gemini hoặc Meta AI.

★ 119 2026-09-19
osam 开源

本地一键运行多种SAM分割模型，快速验证提示视觉能力

Run SAM 1/2/3, EfficientSAM, YOLO-World and other promptable vision models locally, ···

★ 120 2026-08-09
GutenOCR 开源

用多卡 vLLM 训练评测 VLM，把图片文字识别做准

Open-source tools for training and evaluating Vision Language Models for OCR

★ 193 2026-09-29
instanseg 开源

显微图像一键分割细胞核，省去手工标注

InstanSeg is a pytorch-based cell and nucleus segmentation pipeline for fluorescence···

★ 252 2026-10-15
spirula-studio 开源

视频一键训练成3D高斯和网格，A卡N卡都能跑

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

★ 2247 2026-10-05
dpscreenocr 开源

框选屏幕任意区域，一键提取文字到剪贴板

A program to recognize text on the screen

★ 300 2026-09-30
ai4rs 开源

遥感图像目标检测与变化检测，开箱即用

AI for remote sensing, remote sense, object detection, oriented object detection, co···

★ 163 2026-09-28