WeMM-Embedding

一套向量搞定图文互搜,多模态检索直接接入

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1766
维护状态 较活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类开源模型
开发团队Tencent
所属国家
官网地址
定价模式free
价格说明开源模型权重,免费使用
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型embedding-models,multimodal,multimodal-llm
GitHub 星标★ 1766
30天Star增速
HF 下载量
上线时间2026-08-25 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-18
浏览次数0

项目介绍

WeMM-Embedding 是腾讯微信视觉团队开源的多模态通用嵌入模型系列,目标是把文本、图像等不同模态映射到统一向量空间,让多模态理解与检索用同一套表示完成。它解决的核心问题是:传统方案里图文检索、跨模态匹配往往要分别训练文本编码器和视觉编码器,部署和维护成本高,而 WeMM-Embedding 提供统一嵌入接口,可直接用于图文互检、以图搜图、多模态 RAG 召回等任务。项目基于多模态大模型技术栈,提供 Python 调用方式,适合需要快速搭建跨模态检索或语义匹配能力的团队直接集成。星标约 1766,处于成长期,社区仍在积累。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 15 分钟 部署方式:模型权重 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境与可用的 pip(README 未标明最低 Python 版本)
  • 可访问 Hugging Face 下载模型权重
  • 足够的显存/内存运行 2B/4B/9B 规模模型(README 未给出具体数值)
  • 已安装 git 以便克隆仓库(README 未提及,按 GitHub 常规做法)

安装与启动步骤

  1. 1克隆仓库

    把 WeMM-Embedding 源码拉到本地,后续在仓库目录内安装依赖。README 未给出克隆命令,这里按项目 GitHub 地址推断。

    git clone https://github.com/Tencent/WeMM-Embedding.git
  2. 2进入项目目录

    切换到仓库根目录,requirements.txt 位于此处。

    cd WeMM-Embedding
  3. 3安装依赖

    README 唯一给出的安装步骤,按 requirements.txt 安装运行所需依赖,建议在虚拟环境中执行。

    pip install -r requirements.txt
  4. 4选择并下载模型

    在 Model Zoo 中按规模选择 2B/4B/9B 版本,从对应 Hugging Face 页面获取权重。README 未提供下载命令,自行打开链接下载或使用 HF 工具。

  5. 5获取嵌入向量

    README 说明:嵌入取自最后一层隐藏状态中专用 token 位置,随后做 L2 归一化;README 未给出调用示例代码。

关键配置

配置项必填说明示例
模型版本是按任务与资源从 Model Zoo 选择 2B/4B/9BWeMM-Embedding-2B
Matryoshka 维度否可选输出向量维度,各模型支持范围不同512

如何确认成功

执行 pip install 无报错即依赖安装成功;Hugging Face 权重下载完整后即可按 token 取向量验证。

常见问题

Q:支持音频输入吗?

A:不支持。README 明确说明当前暂不提供音频模态,支持文本、图像、视频、视觉文档和交错多模态输入。

Q:嵌入向量怎么取的?

A:取最后一层隐藏状态中专用 token 位置的表示,再做 L2 归一化。

Q:向量维度可以改吗?

A:可以,模型支持 Matryoshka 维度,如 2B 版支持 64/128/256/512/1024/2048。

Q:需要额外训练吗?

A:不需要,仓库直接提供预训练嵌入模型权重,下载后即可使用。

注意事项

  • README 仅给出 pip install -r requirements.txt 一条安装命令,未提供推理示例代码,接入方式需参考仓库后续文档。
  • 2B/4B/9B 各版本维度上限不同,选择维度时注意不要超过对应模型支持的最大值。
  • 模型权重托管在 Hugging Face,国内网络可能需配置镜像或代理。

核心亮点

  • 统一向量空间同时覆盖文本与图像,图文互检不必维护两套编码器
  • 背靠微信视觉团队,模型训练与多模态理解能力有工程积累
  • 提供 Python 接口,可较快接入检索、RAG 召回等现有链路

不足之处

  • 开源时间较短,社区生态和第三方评测积累有限
  • 模型体量与推理资源需求、各语言支持程度等细节需查阅文档确认

适用场景

  • 电商以图搜同款、图文商品匹配
  • 企业知识库多模态 RAG 召回
  • 内容平台图文跨模态去重与相似推荐

替代项目

CLIP、BGE-M3

上一篇:LLaVA-OneVision-2

下一篇:TinyLLaVA_Factory

同类项目推荐

Machine-Learning 开源

跟着博客笔记,边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
laya 开源

一次前向传播,把任意文本变成选择、评分和是/否判断

Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decision···

★ 33254 2026-10-14