VQASynth

把图片视频自动变成带空间推理的VQA训练数据

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 29 🐛 待处理 3 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 593
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

VQASynth 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队remyxai
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,dataset-generation,multimodal-datasets,multimodal-deep-learning,scene-reconstruction,spatial-reasoning,spatialvlm,synthetic-dataset-generation
GitHub 星标★ 593
上线时间2024-02-17 00:00:00
代码更新2026-11-02
仓库体积18.4 MB
本站数据更新2026-11-05
维护状态活跃
收录时间2026-09-21
浏览次数2

项目介绍

VQASynth 是一个面向多模态数据集构建的开源工具,核心目标是把普通图像或视频转化为带有空间推理能力的视觉问答(VQA)训练数据。它通过场景重建与空间关系抽取,自动生成关于物体位置、相对距离、遮挡关系等空间语义的问答对,解决当前多模态大模型在空间理解任务上缺乏高质量标注数据的问题。项目以 Python 实现,提供可组合的数据生成流水线,支持接入视觉模型与语言模型协同工作,输出可直接用于训练 SpatialVLM 等空间视觉语言模型的数据集。适合需要自建多模态训练数据的研究者和工程团队,减少人工标注成本,同时提升数据在空间推理维度上的覆盖度。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 593

使用教程

难度:高级 约 90 分钟 部署方式:本地GPU 5 步

环境要求

  • GPU 显存 16G 以上
  • 图像数据
  • 三维视觉基础

安装与启动步骤

  1. 1克隆装依赖

    研究代码,依赖里有三维场景工具。

  2. 2备图像数据

    能从公开数据集直接拉,也可以用自己的图。

  3. 3跑整条流水线

    一条脚本串起场景重建、区域标注与问答生成。

    bash run.sh
  4. 4抽检生成质量

    自动生成的问题要人看,错标很常见。

  5. 5换成自己的图

    换你的场景图,注意视角要能估出深度。

如何确认成功

从一组室内图能生成带空间关系的问题对,且问题里的方位描述与场景一致

注意事项

  • 它做的是把二维图变成带空间推理的问答数据。
  • 重建失败时后续全废,先确认单场景跑通。
  • 自动标注的方位词经常错,必须抽检。
  • 生成数据用于训练前要再过一遍人工。

核心亮点

  • 自动生成空间关系问答,省去人工标注成本
  • 流水线可组合,能按需替换视觉与语言模型组件
  • 直接面向 SpatialVLM 等空间推理模型的数据需求

不足之处

  • 依赖外部模型,生成质量受底层视觉/语言模型影响
  • 文档与社区规模较小,使用门槛待观察

适用场景

  • 为空间视觉语言模型构建训练数据集
  • 机器人/具身智能场景下的空间理解数据准备
  • 多模态研究中的合成数据增强与评测集生成

替代项目

LLaVA、ShareGPT4V

上一篇:ml-stuttering-events-dataset

下一篇:malecns

同类项目推荐

Dialog_Corpus 开源

拿来即用的中英文对话语料,快速训练你的聊天机器人

用于训练中英文对话系统的语料库 Datasets for Training Chatbot System

★ 2058 2026-08-09
imbalanced-dataset-sampler 开源

一行替换采样器,让少数类不再被模型忽略

A (PyTorch) imbalanced dataset sampler for oversampling low frequent classes and und···

★ 2324 2026-10-19
awesome-public-real-time-dataset··· 开源

一站找齐可公开访问的实时数据源,做流处理演示不再缺素材

A list of publicly available datasets with real-time data maintained by the team at ···

★ 2970 2026-11-02
address 开源

用真实开放数据一键生成27国测试地址

A self-hosted address and synthetic test-profile generator for 27 countries and regi···

★ 1959 2026-10-20
speech_dataset 开源

一站式获取中文语音识别训练数据,快速启动ASR实验

The dataset of Speech Recognition

★ 470 2026-08-09
AGIQA-3k-Database 开源

给AI生成图像质量打分,建立评估基准

[IEEE TCSVT2023] A Fine-grained Subjective Perception & Alignment Database for AI Ge···

★ 70 2026-08-09
IEPile 开源

用2000万条高质量数据,让大模型更懂信息抽取。

[ACL 2024] IEPile: A Large-Scale Information Extraction Corpus

★ 214 2026-08-09
Koala-36M 开源

用3600万配对视频,让AI生成更听话的视频

Official implementation of the paper "Koala-36M: A Large-scale Video Dataset Improvi···

★ 258 2026-08-09