VideoGPT-plus 是对话助手领域的开源项目，由 mbzuai-oryx 开发，2024 年首次发布。
它收录于对话助手分类，该分类目前共有 907 个项目，GitHub 星标数为 294。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-10。基于CC-BY-4.0许可证，可自由使用，无付费版本。
它主要面向的使用场景是：视频内容智能问答与摘要生成。同类可对比的替代方案包括 Video-LLaVA、LLaMA-VID、Video-ChatGPT。
VideoGPT-plus
融合图像与视频编码，让AI看懂视频并陪你聊内容
VideoGPT-plus 是论文《VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding》的官方实现，旨在构建一个能同时理解图像和视频的多模态对话助手。它通过双编码器架构，融合了图像编码器（如 CLIP）和视频编码器，并结合大语言模型（如 LLaMA、Phi-3-mini、Vicuna 等），让用户能够对视频内容进行自然语言问答和对话。项目解决了传统视频理解模型只关注单帧或简单时序的问题，通过整合两种编码器来捕捉更丰富的时空信息，从而提升对视频语义的把握。核心能力包括视频问答、视频描述生成、多轮对话等，支持多种主流视觉和语言模型组合，为视频理解研究提供了一个灵活的基线系统。
开源
free
对话助手
GitHub 星标
★ 294
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类对话助手
开发团队mbzuai-oryx
所属国家
定价模式free
价格说明开源项目，基于CC-BY-4.0许可证，可自由使用，无付费版本。
访问状态
是否开源是
开源协议CC-BY-4.0
主要语言Python
技术栈/模型chatbot,clip,dual-encoder,gpt4,gpt4o,image-encoder,llama3,llava,multimodal,phi-3-mini,vicuna,video-chatbot,video-conversation,video-encoder,vision-language,vision-language-pretraining
GitHub 星标★ 294
30天Star增速
HF 下载量
上线时间2024-06-13 00:00:00
最近更新2026-09-10 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 双编码器设计，同时捕捉图像细节和视频时序，理解更全面
- 支持多种主流LLM（LLaMA、Phi-3、Vicuna）和视觉编码器，灵活组合
- 官方论文实现，代码结构清晰，适合学术研究和二次开发
不足之处
- 早期项目，文档和社区支持待观察
- 依赖较多外部模型权重，部署配置相对复杂
适用场景
- 视频内容智能问答与摘要生成
- 视频监控场景的实时语义理解
- 多模态对话系统的研究与原型开发
替代项目
Video-LLaVA、LLaMA-VID、Video-ChatGPT
项目介绍
上一篇：AetherLink
下一篇：LLMChat
同类项目推荐
open-webui
开源
给本地模型配个漂亮聊天室，全家都能用
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
prompts.chat
开源
海量好提示词，抄了就能让 AI 更听话
f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the commun···
elia
开源
终端里用键盘快速聊 AI，多模型切换不打断思路
A snappy, keyboard-centric terminal user interface for interacting with large langua···
NextChat
开源
一个界面聊遍所有主流AI模型，支持全平台部署，轻快又私密。
✨ Zero-config AI chat assistant. No API key needed — sign up and instantly chat wi···