Chat-UniVi

一个模型同时看懂图片和视频，统一视觉理解新方案

Chat-UniVi 是一个统一图像与视频理解的多模态大语言模型，由 CVPR 2024 Highlight 论文提出。它通过一种统一的视觉表示方法，将图像和视频的视觉特征映射到同一语义空间，使模型能够同时处理静态图像和动态视频内容。该模型解决了传统多模态模型需要分别针对图像和视频设计不同架构的问题，降低了多模态任务的复杂度。其核心能力包括：基于视觉 token 的动态选择机制，能根据输入内容自适应地分配计算资源；支持视觉问答、视频理解、多轮对话等多种任务；在多个基准测试上表现优异。项目提供了完整的训练和推理代码，方便研究者复现和扩展。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 943

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队PKU-YuanGroup

所属国家

官网地址

GitHubhttps://github.com/PKU-YuanGroup/Chat-UniVi

定价模式free

价格说明开源模型，Apache-2.0许可，可免费使用和部署，无在线服务。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型image-understanding,large-language-models,video-understanding,vision-language-model

GitHub 星标★ 943

30天Star增速

HF 下载量

上线时间2023-11-13 00:00:00

最近更新2026-09-18 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

统一视觉表示，无需分别训练图像和视频模型，架构简洁高效
动态 token 选择机制，根据输入复杂度自适应调整计算量，节省资源
CVPR 2024 Highlight 论文背书，方法经过学术验证，性能有保障

不足之处

文档和社区支持尚待完善，新手入门可能有一定门槛
项目处于早期阶段，生态和工具链不如成熟项目丰富

适用场景

多模态对话机器人，同时支持用户上传图片和视频进行问答
视频内容理解与分析，如视频摘要、事件识别
学术研究，探索统一视觉表示在多模态大模型中的应用

替代项目

Video-LLaVA、LLaVA、VideoChat

项目介绍

Chat-UniVi 是开源模型领域的开源项目，由 PKU-YuanGroup 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（943）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。Apache-2.0许可，可免费使用和部署，无在线服务。

它主要面向的使用场景是：多模态对话机器人，同时支持用户上传图片和视频进行问答。同类可对比的替代方案包括 Video-LLaVA、LLaVA、VideoChat。

上一篇：llm-table-survey

下一篇：Awesome-MLLM-LLM-Colab