VisionFoundry

用合成图像训练VLM,低成本提升视觉感知能力

VisionFoundry 是一个专注于提升视觉语言模型(VLM)视觉感知能力的开源训练框架。它通过合成图像数据来训练模型,解决真实图像数据稀缺、标注成本高的问题。核心能力包括:生成多样化的合成视觉场景、构建视觉-语言对齐的训练数据集、提供模型微调和评估的完整流程。项目基于 Python 实现,支持主流 VLM 架构,旨在以低成本、可扩展的方式增强模型对颜色、形状、空间关系等基础视觉属性的理解。目前处于早期阶段,代码和文档正在完善中。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 55
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队zlab-princeton
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型grpo,large-language-models,llm,lmm,mllm,rl,self-improvement,synthetic-data,synthetic-dataset-generation,visual-perception,vlm
GitHub 星标★ 55
30天Star增速
HF 下载量
上线时间2026-04-02 00:00:00
最近更新2026-09-17 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 合成数据方案可无限扩展,突破真实数据瓶颈
  • 专注视觉感知基础能力,针对性强于通用微调
  • 提供完整训练流程,从数据生成到模型评估

不足之处

  • 合成图像与真实场景存在域间隙,泛化性待验证
  • 文档/社区待观察

适用场景

  • 学术研究:探索合成数据在VLM训练中的有效性
  • 数据增强:为特定视觉任务生成定制化训练样本
  • 模型评测:测试VLM对基础视觉属性的理解能力

替代项目

LLaVA、MiniGPT-4、InstructBLIP

项目介绍

VisionFoundry 是模型训练领域的开源项目,由 zlab-princeton 开发,是 2026 年新上线的项目。

它收录于模型训练分类,该分类目前共有 522 个项目,GitHub 星标数为 55。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-17。Apache-2.0 许可证,可免费使用和部署。

它主要面向的使用场景是:学术研究:探索合成数据在VLM训练中的有效性。同类可对比的替代方案包括 LLaVA、MiniGPT-4、InstructBLIP。

上一篇:meta-context-engineering

下一篇:Rose

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13