FiT3D

给二维视觉模型装上三维感知，微调后特征更懂空间结构

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 13 🐛 待处理 4 👀 关注 8

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 333

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队ywyue

官网地址https://ywyue.github.io/FiT3D

GitHubhttps://github.com/ywyue/FiT3D

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型3d-awareness,clip,deit-iii,dinov2,fine-tuning,foundation-models,mae,representation-learning

GitHub 星标★ 333

上线时间2024-07-20 00:00:00

代码更新2025-12-21

仓库体积32.5 MB

本站数据更新2026-11-11

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

FiT3D 是一个针对二维基础模型（如 DINOv2、MAE 等）进行三维感知微调的开源框架，其研究成果发表于 ECCV 2024。核心问题是：现有的二维视觉特征提取器缺乏对三维几何结构的理解，导致在下游任务（如语义分割、深度估计）中表现受限。FiT3D 通过引入三维感知的微调策略，利用多视角图像或三维数据作为监督信号，在不改变模型推理结构的前提下，增强二维特征对三维空间关系的编码能力。项目提供了完整的训练代码、预训练权重和评估脚本，支持主流视觉 Transformer 骨干网络。其核心能力包括：高效的三维感知微调流程、与现有二维模型的无缝集成、以及在多个基准数据集上的显著性能提升。该工具主要面向计算机视觉研究人员，旨在弥合二维与三维特征表示之间的鸿沟，提升模型对真实世界几何结构的理解。