OpenSearch-VL

让AI看懂图片并精准搜索，训练多模态搜索智能体

OpenSearch-VL 是一个训练多模态深度搜索智能体的开源方案，旨在解决传统文本搜索无法理解图像、图表等视觉信息的问题。它通过高质量数据筛选、多样化的视觉与搜索工具集成，以及基于错误感知的强化学习，让智能体能够像人类一样进行多步骤的视觉信息检索和推理。项目提供了完整的训练流程和代码，支持从数据准备到模型微调的全过程，核心能力包括视觉问答、跨模态检索和复杂搜索任务分解。其创新点在于将强化学习引入多模态搜索，使模型能根据搜索反馈自我优化，从而提升在真实场景中的搜索准确性和效率。

开源 free 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 285
维护状态 维护中
是否开源 是
定价模式 free

项目数据

分类搜索知识
开发团队shawn0728
所属国家
官网地址
GitHubhttps://github.com/shawn0728/OpenSearch-VL
定价模式free
价格说明开源项目，Apache-2.0许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型deep-research-agent,multimodal,opensource,search-agent,think-with-image,vlm-agent
GitHub 星标★ 285
30天Star增速
HF 下载量
上线时间2026-05-03 00:00:00
最近更新2026-09-19 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 提供完整的多模态搜索智能体训练配方，包括数据、工具和强化学习算法
  • 集成多种视觉和搜索工具，支持复杂搜索任务分解与执行
  • 采用错误感知的强化学习，能根据反馈自动优化搜索策略

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 依赖大规模高质量视觉-文本数据，数据获取成本可能较高

适用场景

  • 构建能理解图像内容的搜索引擎或问答系统
  • 训练AI助手进行跨模态信息检索（如根据图表回答问题）
  • 研究多模态强化学习在信息检索中的应用

替代项目

ColPali、VLM2Vec、CLIP-based retrieval models

项目介绍

OpenSearch-VL 是搜索知识领域的开源项目，由 shawn0728 开发，是 2026 年新上线的项目。

它收录于搜索知识分类，该分类目前共有 579 个项目，GitHub 星标数为 285。

近 43 天，它的 GitHub 星标从 262 增加到 285，净增 23。

项目仍在小幅维护中，最近一次代码更新于 2026-09-19。Apache-2.0许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：构建能理解图像内容的搜索引擎或问答系统。同类可对比的替代方案包括 ColPali、VLM2Vec、CLIP-based retrieval models。

上一篇：rag-with-amazon-bedrock-and-pgvector

下一篇：langextract

同类项目推荐

firecrawl 开源

网页抓取像喝水一样简单，开发者省下整周加班

The web data API to search, scrape, and interact at scale.

★ 183325 2026-08-09
contoso-chat 开源

一键跑通 Azure RAG 应用，从代码到评估部署全流程

This sample has the full End2End process of creating RAG application with Prompty an···

★ 766 2026-08-09
graphify 开源

整个代码库画成一张图，找问题一眼定位

Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···

★ 120493 2026-08-09
qiaomu-youtube-ai-podcast 开源

一站式索引AI播客，快速找到有文字稿和总结的节目

AI 播客索引：整理 AI 播客、中文简介、Transcript 状态和总结入口 | Curated AI podcast ···

★ 69 2026-08-09