项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 703
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU
- 大容量磁盘
- Python 3.10+
安装与启动步骤
-
1克隆仓库
这是多模态嵌入模型的评测基准，附带数据接口与评测脚本。
git clone https://github.com/Tiger-AI-Lab/VLM2Vec -
2准备数据根目录
评测数据体积大，先设好环境变量指向大容量磁盘。
export MMEB_V3_ROOT=/data/mmeb -
3先做数据自检
带 check-only 参数只检查不缺下载，适合先摸清磁盘需求。
python experiments/public/data/dataset_setup_v3.py --root $MMEB_V3_ROOT --check-only -
4跑单个数据集评测
指定显卡跑单数据集，确认流程通了再上全量脚本。
CUDA_VISIBLE_DEVICES=0 python eval.py -
5跑全量评测
全量脚本会遍历多个模态，耗时长，建议放后台并记录日志。
bash experiments/public/eval/eval_omniset.sh
如何确认成功
check-only 无缺失，单数据集评测输出指标
注意事项
- check-only 是关键，直接全量下载很容易把磁盘塞满。
- 指标解读要看基准说明，别只看单一分数。
核心亮点
- 提出 MMEB 系列基准，覆盖分类、检索、VQA 等多种任务，评估全面
- 支持图像、文本、视频等多模态输入，统一输出嵌入向量，适用性广
- 提供从训练到评估的完整代码，基于主流 VLM，易于复现和扩展
不足之处
- 项目仍处于早期，文档和社区支持有待完善
- 依赖大规模预训练 VLM，训练和推理资源需求较高
适用场景
- 多模态内容搜索（如按图搜文、按文搜图）
- 视觉问答和推理任务的嵌入表示
- 多模态分类和聚类（如商品图片+描述分类）
替代项目
CLIP、BridgeTower、UniIR
同类项目推荐
ms-agent
开源
几行代码让 AI 自己拆任务、调工具、出结果
MS-Agent: a lightweight framework to empower agentic execution of complex tasks
skills
开源
给编码代理装上 Mastra 框架说明书
Official agent skills for coding agents working with the Mastra AI framework
awesome-llm-json
开源
一站式收藏夹，快速找到让LLM输出JSON的库和模型
Resource list for generating JSON using LLMs via function calling, tools, CFG. Libra···
langchainrb
开源
用 Ruby 快速构建 LLM 应用，像搭积木一样组合 AI 能力
Build LLM-powered applications in Ruby
engrim
开源
给所有 AI 编程助手接上同一个本地项目记忆
The Universal Cross-Model Episodic Memory Standard. Local-first, project-scoped SQLi···
meta-prompting
开源
让AI学会拆解任务，调度专家模型，搞定复杂推理
Official implementation of Meta Prompting for AI Systems (https://arxiv.org/abs/2311···
llm-consortium
开源
多个大模型互相挑错，迭代到答案一致
Parallel Reasoning: llm-consortium orchestrates mulitple LLMs, iteratively refines &···
tinystruct
开源
用 Java 快速构建 AI 应用，插件化开发，轻量高效。
A lightweight, modular Java application framework for web and CLI development, ···
llm-extension-for-cmd-pal
开源
在 PowerToys 命令面板里直接召唤 AI，键盘党秒变效率大师
An LLM extension for PowerToys Command Palette