OmniVinci

一个模型同时看懂图像、听懂声音、理解文字，搞定多模态任务。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 55 🐛 待处理 8 👀 关注 9

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 684

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源模型，Apache-2.0许可，可免费使用和部署。

项目预览

项目数据

分类开源模型

开发团队NVlabs

官网地址https://nvlabs.github.io/OmniVinci

GitHubhttps://github.com/NVlabs/OmniVinci

定价模式🏷️完全免费

价格说明开源模型，Apache-2.0许可，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型audio-language-model,deep-learning,large-language-models,multimodal-large-language-models,vision-language-model

GitHub 星标★ 684

上线时间2025-09-24 00:00:00

代码更新2026-08-31

仓库体积98.9 MB

本站数据更新2026-11-09

维护状态维护中

收录时间2026-08-09

浏览次数4

项目介绍

OmniVinci 是一个全模态大语言模型，旨在联合理解视觉、音频和语言信息。它解决的是传统多模态模型往往只支持文本与图像，而难以同时处理音频、视频等多种模态数据的问题。OmniVinci 的核心能力在于将视觉、音频和语言输入统一到一个模型中，实现跨模态的联合推理与理解。该项目基于 Python 构建，提供了模型架构、训练代码和推理接口，支持研究人员和开发者进行二次开发与实验。目前项目处于早期阶段，GitHub 星标 675，代码库正在快速迭代中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 684

技术标签

deep-learning large-language-models multimodal-large-language-models vision-language-model

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 80 分钟部署方式：本地安装 4 步

环境要求

CUDA GPU（大显存）
Python 3.10+
Hugging Face 访问

安装与启动步骤

1拉模型权重

官方权重在 Hugging Face，用 CLI 拉到本地目录。
```
huggingface-cli download nvidia/omnivinci --local-dir ./omnivinci
```
2进目录跑环境脚本

环境初始化脚本会装多模态依赖，耗时长。
```
bash ./environment_setup.sh omnivinci
```
3验证单模态推理

先只跑视觉或语音一条链路，确认权重加载正常。
4跑跨模态任务

多模态对齐是重点，观察不同模态输入下的一致性。