
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1538
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10(README 明确测试版本)
- conda 环境管理工具
- Torch 2.4.0
- Transformers 4.51.3
- DeepSpeed 0.15.4
安装与启动步骤
-
1克隆代码仓库
用 SSH 方式克隆 Ovis 仓库到本地,需提前配置 GitHub SSH Key,否则可改用 HTTPS 地址。
git clone git@github.com:AIDC-AI/Ovis.git -
2创建conda环境
创建名为 ovis 的 Python 3.10 环境并激活,README 声明项目在 Python 3.10 下测试。
conda create -n ovis python=3.10 -y conda activate ovis -
3安装项目依赖
进入 Ovis 目录,按 requirements.txt 安装全部依赖,再以可编辑模式安装项目本身。
cd Ovis pip install -r requirements.txt pip install -e . -
4安装vLLM(可选)
README 单独列出 vLLM 安装方式,如需 vLLM 推理加速再执行,非必须步骤。
pip install vllm==0.10.2 --extra-index-url https://wheels.vllm.ai/0.10.2/ -
5获取模型权重
README 未给出下载命令,权重发布在 Hugging Face 的 AIDC-AI/Ovis2.5 集合,需自行前往下载 2B/9B 版本。
如何确认成功
README 未提供验证方式,确认 conda 环境已激活、pip install 全程无报错即视为环境就绪。
常见问题
Q:没有安装 conda 怎么办?
A:README 未说明,需自行安装 Miniconda 或 Anaconda 后,再执行创建 ovis 环境的命令。
Q:vLLM 必须安装吗?
A:不必须。README 将 vLLM 单独列出,只在需要该推理后端时执行对应 pip 命令。
Q:依赖版本可以直接用新版吗?
A:README 声明在 Python 3.10、Torch 2.4.0、Transformers 4.51.3、DeepSpeed 0.15.4 下测试,建议保持一致。
Q:模型权重从哪里获取?
A:托管在 Hugging Face,见 AIDC-AI/Ovis2.5 集合,包含 Ovis2.5-2B 与 9B 等版本。
注意事项
- SSH 克隆需已配置 GitHub SSH Key,否则改用 HTTPS 克隆地址。
- 完整依赖清单以仓库内 requirements.txt 为准。
- README 未给出推理示例命令,安装完成后需自行参考模型页面使用。
核心亮点
- 创新架构:从结构层面对齐视觉和文本嵌入,优于简单的拼接或投影方法
- 兼容主流模型:支持Llama3和Qwen,方便复用现有生态
- 代码清晰:Python实现,模块化设计,便于二次开发
不足之处
- 文档/社区待观察
- 项目尚在成长,示例和教程可能不够丰富
适用场景
- 学术研究:探索多模态嵌入对齐的新方法
- 视觉问答:构建能理解图像并回答问题的助手
- 多模态内容理解:如社交媒体图像与文本联合分析
替代项目
LLaVA、Qwen-VL、InternVL
上一篇:nlp_xiaojiang
下一篇:z80ai
同类项目推荐
dalai
开源
一条命令本地跑 LLaMA,无需折腾环境
The simplest way to run LLaMA on your local machine
XR-1
开源
统一视觉与运动表征,让机器人模型学会跨任务泛化
Towards Versatile Vision-Language-Action Models via Learning Unified Vision-Motion R···
GenerativeAI
开源
跟着示例跑通LLM应用,快速上手生成式AI开发
GenAI & LLM usecases and applications
FLAIR
开源
看懂眼底图像的AI,一句描述输出临床结论
[MedIA'25] FLAIR: A Foundation LAnguage-Image model of the Retina for fundus image u···
Awesome-AVI
开源
一站式导航音频-视觉智能前沿资源,快速上手跨模态研究
Awesome Audio-Visual Intelligence, Survey of Audio-Visual Intelligence
S2D2
开源
在 Notebook 里几行代码跑通 Stable Diffusion 文生图
S2D2: Simple Stable Diffusion based on Diffusers (Hires.fix on jupyter notebook, ipy···
web-stable-diffusion
开源
浏览器里跑Stable Diffusion,无需服务器,隐私又省钱
Bringing stable diffusion models to web browsers. Everything runs inside the browser···
VisionLLM
开源
让视觉模型听懂人话,直接对话图像内容
VisionLLM Series
Ovis-Image
开源
轻量级7B模型,让AI生成图片里的文字清晰准确
Ovis-Image is a 7B text-to-image model specifically optimized for high-quality text ···