FrozenBiLM

冻结语言模型，零样本看懂视频回答问题

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 19 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 159
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0许可，完全免费，需自行部署。

项目预览

FrozenBiLM 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队antoyang
GitHubhttps://github.com/antoyang/FrozenBiLM
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0许可，完全免费，需自行部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,multimodal-learning,pre-training,video-question-answering,video-understanding,videoqa,vision-and-language,visual-question-answering,vqa,weakly-supervised-learning
GitHub 星标★ 159
上线时间2022-09-25 00:00:00
代码更新2024-12-09
仓库体积104 KB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

FrozenBiLM 是一个用于零样本视频问答（VideoQA）的开源模型，来自 NeurIPS 2022 论文。它解决的是在没有任何视频标注数据的情况下，直接回答关于视频内容的问题。其核心思路是冻结双向语言模型（如 BERT）的权重，仅训练一个轻量的视频-文本对齐模块，将视频特征映射到语言模型的语义空间中，从而利用语言模型已有的知识进行推理。该模型支持多种视频问答基准，并提供完整的训练和评估代码。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 159

核心亮点

  • 零样本能力强：无需视频标注数据即可在多个 VideoQA 基准上达到领先效果
  • 训练高效：只训练轻量对齐层，显存和算力需求远低于端到端微调
  • 代码完整：提供数据处理、训练、评估全流程，易于复现

不足之处

  • 文档偏学术，上手门槛较高
  • 依赖特定视频特征提取器，灵活性受限

适用场景

  • 学术研究：探索零样本视频理解与语言模型结合
  • 视频检索：根据自然语言问题定位视频片段
  • 自动化视频审核：对视频内容进行问答式检查

替代项目

Frozen in Time、VideoCLIP、VIOLET

上一篇：MovieChat

下一篇：talk2bev

同类项目推荐

MIVisionX 开源

在 AMD 硬件上跑视觉推理，用 OpenVX 图加速

AMD MIVisionX is a computer vision toolkit built around a highly optimized, conforma···

★ 218 2026-09-18
openMVG 开源

多张照片一键算出相机位姿与三维点云

open Multiple View Geometry library. Basis for 3D computer vision and Structure from···

★ 6593 2026-09-18
GLAMR 开源

动态相机下，遮挡也能精准重建3D人体

[CVPR 2022 Oral] Official PyTorch Implementation of "GLAMR: Global Occlusion-Aware H···

★ 392 2026-08-09
fractogenesis 开源

从单点出发，用算法长出一整片分形宇宙

Fractal structures grown from a single point, using either cellular automata rules o···

★ 116 2026-08-09
stitching 开源

多张照片一键拼成全景图，快且稳

A Python package for fast and robust Image Stitching

★ 2643 2026-09-17
vivid123 开源

一张图生成多视角视频，3D重建更轻松

[CVPR 2024 Highlight] ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models

★ 180 2026-08-09
VGGT-Det-CVPR2026 开源

不用相机标定，多视角直接检测室内3D物体

Official code for CVPR 2026 paper: VGGT-Det: Mining VGGT Internal Priors for Sensor-···

★ 164 2026-09-30
PaDT 开源

把图像切成 token，一个模型搞定分割、检测、姿态估计

[ICLR 2026] Official implementation of "Patch-as-Decodable-Token: Towards Unified Mu···

★ 167 2026-08-09