FiT3D

给二维视觉模型装上三维感知，微调后特征更懂空间结构

FiT3D 是一个针对二维基础模型（如 DINOv2、MAE 等）进行三维感知微调的开源框架，其研究成果发表于 ECCV 2024。核心问题是：现有的二维视觉特征提取器缺乏对三维几何结构的理解，导致在下游任务（如语义分割、深度估计）中表现受限。FiT3D 通过引入三维感知的微调策略，利用多视角图像或三维数据作为监督信号，在不改变模型推理结构的前提下，增强二维特征对三维空间关系的编码能力。项目提供了完整的训练代码、预训练权重和评估脚本，支持主流视觉 Transformer 骨干网络。其核心能力包括：高效的三维感知微调流程、与现有二维模型的无缝集成、以及在多个基准数据集上的显著性能提升。该工具主要面向计算机视觉研究人员，旨在弥合二维与三维特征表示之间的鸿沟，提升模型对真实世界几何结构的理解。