UForm

小体积多模态模型,图文视频理解快数倍

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 76 🐛 待处理 15 👀 关注 15
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1253
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,遵循项目许可证

项目预览

UForm 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队unum-cloud
定价模式🏷️完全免费
价格说明开源免费,遵循项目许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型bert,clip,clustering,contrastive-learning,cross-attention,huggingface-transformers,image-search,language-vision,llava,multi-lingual,multimodal,neural-network,openai,openclip,pretrained-models,pytorch,representation-learning,semantic-search,transformer,vector-search
GitHub 星标★ 1253
上线时间2023-02-21 00:00:00
代码更新2026-10-31
仓库体积717 KB
本站数据更新2026-11-07
维护状态活跃
收录时间2026-11-06
浏览次数1

项目介绍

UForm 是一个面向多模态内容理解与生成的轻量级开源模型库,主打在中文、英文等多语言文本、图像和视频之间建立统一表示。它解决的是传统多模态模型体积大、推理慢、部署成本高的问题,通过小尺寸模型在保持可用精度的同时显著提升速度,官方称在部分任务上比 OpenAI CLIP 和 LLaVA 快数倍。核心能力包括:文本与图像的跨模态检索、以图搜图、图文匹配打分、多语言文本编码、图像特征提取与聚类,并可与 HuggingFace Transformers 生态配合使用。项目提供 Python 接口,适合需要本地化、低延迟多模态能力的开发者,可用于构建语义搜索、内容审核、推荐召回和轻量级视觉问答等应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 1253

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 10 分钟 部署方式:库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 运行环境(项目开发语言为 Python)
  • 可访问 GitHub 的 git 客户端
  • PyTorch、ONNX 或 CoreML 中任一推理后端运行环境
  • 能够阅读 python/README.md 中的安装与调用说明

安装与启动步骤

  1. 1检查 Python 环境

    先确认本机已安装 Python 并可用,README 未限定具体版本,建议使用较新的 3.x。

    python --version
  2. 2克隆项目仓库

    把 UForm 仓库下载到本地,后续各语言示例都在该目录内。

    git clone https://github.com/unum-cloud/UForm.git
  3. 3进入 Python 目录

    Python 接口的安装与示例说明位于仓库的 python 子目录中。

    cd UForm/python
  4. 4查看安装说明

    README 节选未给出具体安装命令,请以该文件中的依赖安装与示例代码为准。

    cat README.md

如何确认成功

按 python/README.md 中的示例脚本运行无报错,并能得到文本或图像的嵌入向量,即可确认可用。

常见问题

Q:为什么没有直接给出安装命令?

A:README 节选只包含项目简介与文档入口,具体安装与调用命令写在 python/README.md 中,请以该文件为准。

Q:支持哪些推理格式?

A:README 标注支持 ONNX、CoreML 和 PyTorch,可按自己的部署环境选择对应后端。

Q:支持哪些模态?

A:当前支持短文本与图像,视频片段和长文档在 README 中标注为即将支持。

Q:有 Python 以外的接口吗?

A:有,仓库同时提供 JavaScript 和 Swift 的说明文档,分别在 javascript 和 swift 子目录。

注意事项

  • README 节选未包含具体依赖包名、端口和参数,教程未做任何补充,请以仓库内 python/README.md 为准。
  • 视频与长文档能力在 README 中标注为即将支持,当前不要按已可用功能设计业务。
  • 模型尺寸较小,但仍建议先用小批量数据验证显存与内存占用。

核心亮点

  • 模型体积小、推理速度快,适合资源受限环境本地部署
  • 原生支持多语言文本与图像、视频的跨模态对齐
  • 提供图文检索、以图搜图、特征聚类等开箱即用能力

不足之处

  • 项目星标规模仍属成长阶段,社区生态和第三方教程较少
  • 视频与复杂视觉问答能力相对头部大模型仍有差距
  • 中文文档和示例覆盖有待补充

适用场景

  • 电商平台以图搜同款和跨语言商品检索
  • 内容平台图文视频的语义去重与聚类
  • 企业知识库中的多模态语义搜索

替代项目

OpenAI CLIP、Chinese-CLIP、LLaVA

上一篇:MeanFlow

下一篇:qwenputer

同类项目推荐

Eagle 开源

用数据策略打造更强的视觉语言模型,训练效果立竿见影

Eagle: Frontier Vision-Language Models with Data-Centric Strategies

★ 3799 2026-08-09
flux-krea 开源

用文本提示词,一键生成高质量艺术图像

Official GitHub repository for FLUX.1 Krea [dev].

★ 369 2026-08-09
TabPFN 开源

几行代码搞定表格数据预测,小样本也能媲美调优后的 XGBoost。

⚡ TabPFN: Foundation Model for Tabular Data ⚡

★ 8375 2026-08-09
audio-ai-hub 开源

音频 AI 研究资料一站式导航,想找什么都有门路

The hub for audio AI research: papers, open models, benchmarks & datasets across aud···

★ 962 2026-08-09
small-doge 开源

小模型也能跑得溜,低资源部署不将就。

Doge Family of Small Language Models

★ 201 2026-08-09
Skywork 开源

开源中英双语大模型,数据权重全开放,快速训练部署

Skywork series models are pre-trained on 3.2TB of high-quality multilingual (mainly ···

★ 1500 2026-08-09