Ovis

让视觉与语言无缝对齐,构建更强多模态大模型。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 93 🐛 待处理 86 👀 关注 19
GitHub ↗
GitHub 星标 ★ 1538
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可,可免费本地部署使用,无在线服务。

项目预览

Ovis 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队ATH-MaaS
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可,可免费本地部署使用,无在线服务。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型chatbot,llama3,multimodal,multimodal-large-language-models,multimodality,qwen,vision-language-learning,vision-language-model
GitHub 星标★ 1538
上线时间2024-06-13 00:00:00
代码更新2026-07-15
仓库体积36.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

Ovis是一个多模态大语言模型(MLLM)架构,旨在从结构上对齐视觉和文本嵌入。它解决了传统多模态模型在融合视觉与语言信息时存在的语义鸿沟问题,通过创新的嵌入对齐机制,让模型能更精准地理解图像与文本的关联。核心能力包括:支持基于Llama3和Qwen等主流语言模型构建多模态版本,提供灵活的视觉编码器集成,以及针对视觉-语言任务优化的训练流程。项目代码以Python为主,适合研究者和开发者用于图像问答、视觉推理等场景,当前处于成长阶段,社区活跃度中等。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1538

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3.10(README 明确测试版本)
  • conda 环境管理工具
  • Torch 2.4.0
  • Transformers 4.51.3
  • DeepSpeed 0.15.4

安装与启动步骤

  1. 1克隆代码仓库

    用 SSH 方式克隆 Ovis 仓库到本地,需提前配置 GitHub SSH Key,否则可改用 HTTPS 地址。

    git clone git@github.com:AIDC-AI/Ovis.git
  2. 2创建conda环境

    创建名为 ovis 的 Python 3.10 环境并激活,README 声明项目在 Python 3.10 下测试。

    conda create -n ovis python=3.10 -y
    conda activate ovis
  3. 3安装项目依赖

    进入 Ovis 目录,按 requirements.txt 安装全部依赖,再以可编辑模式安装项目本身。

    cd Ovis
    pip install -r requirements.txt
    pip install -e .
  4. 4安装vLLM(可选)

    README 单独列出 vLLM 安装方式,如需 vLLM 推理加速再执行,非必须步骤。

    pip install vllm==0.10.2 --extra-index-url https://wheels.vllm.ai/0.10.2/
  5. 5获取模型权重

    README 未给出下载命令,权重发布在 Hugging Face 的 AIDC-AI/Ovis2.5 集合,需自行前往下载 2B/9B 版本。

如何确认成功

README 未提供验证方式,确认 conda 环境已激活、pip install 全程无报错即视为环境就绪。

常见问题

Q:没有安装 conda 怎么办?

A:README 未说明,需自行安装 Miniconda 或 Anaconda 后,再执行创建 ovis 环境的命令。

Q:vLLM 必须安装吗?

A:不必须。README 将 vLLM 单独列出,只在需要该推理后端时执行对应 pip 命令。

Q:依赖版本可以直接用新版吗?

A:README 声明在 Python 3.10、Torch 2.4.0、Transformers 4.51.3、DeepSpeed 0.15.4 下测试,建议保持一致。

Q:模型权重从哪里获取?

A:托管在 Hugging Face,见 AIDC-AI/Ovis2.5 集合,包含 Ovis2.5-2B 与 9B 等版本。

注意事项

  • SSH 克隆需已配置 GitHub SSH Key,否则改用 HTTPS 克隆地址。
  • 完整依赖清单以仓库内 requirements.txt 为准。
  • README 未给出推理示例命令,安装完成后需自行参考模型页面使用。

核心亮点

  • 创新架构:从结构层面对齐视觉和文本嵌入,优于简单的拼接或投影方法
  • 兼容主流模型:支持Llama3和Qwen,方便复用现有生态
  • 代码清晰:Python实现,模块化设计,便于二次开发

不足之处

  • 文档/社区待观察
  • 项目尚在成长,示例和教程可能不够丰富

适用场景

  • 学术研究:探索多模态嵌入对齐的新方法
  • 视觉问答:构建能理解图像并回答问题的助手
  • 多模态内容理解:如社交媒体图像与文本联合分析

替代项目

LLaVA、Qwen-VL、InternVL

上一篇:nlp_xiaojiang

下一篇:z80ai

同类项目推荐

dalai 开源

一条命令本地跑 LLaMA,无需折腾环境

The simplest way to run LLaMA on your local machine

★ 12865 2026-08-09
XR-1 开源

统一视觉与运动表征,让机器人模型学会跨任务泛化

Towards Versatile Vision-Language-Action Models via Learning Unified Vision-Motion R···

★ 171 2026-08-09
GenerativeAI 开源

跟着示例跑通LLM应用,快速上手生成式AI开发

GenAI & LLM usecases and applications

★ 178 2026-08-09
FLAIR 开源

看懂眼底图像的AI,一句描述输出临床结论

[MedIA'25] FLAIR: A Foundation LAnguage-Image model of the Retina for fundus image u···

★ 194 2026-08-09
Awesome-AVI 开源

一站式导航音频-视觉智能前沿资源,快速上手跨模态研究

Awesome Audio-Visual Intelligence, Survey of Audio-Visual Intelligence

★ 94 2026-08-09
S2D2 开源

在 Notebook 里几行代码跑通 Stable Diffusion 文生图

S2D2: Simple Stable Diffusion based on Diffusers (Hires.fix on jupyter notebook, ipy···

★ 54 2026-08-09
web-stable-diffusion 开源

浏览器里跑Stable Diffusion,无需服务器,隐私又省钱

Bringing stable diffusion models to web browsers. Everything runs inside the browser···

★ 3731 2026-08-09
VisionLLM 开源

让视觉模型听懂人话,直接对话图像内容

VisionLLM Series

★ 1155 2026-08-09
Ovis-Image 开源

轻量级7B模型,让AI生成图片里的文字清晰准确

Ovis-Image is a 7B text-to-image model specifically optimized for high-quality text ···

★ 318 2026-08-09