VideoGPT-plus

融合图像与视频编码，让AI看懂视频并陪你聊内容

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 19 🐛 待处理 16 👀 关注 6
GitHub ↗
GitHub 星标 ★ 294
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，基于CC-BY-4.0许可证，可自由使用，无付费版本。

项目预览

VideoGPT-plus 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队mbzuai-oryx
GitHubhttps://github.com/mbzuai-oryx/VideoGPT-plus
定价模式🏷️完全免费
价格说明开源项目，基于CC-BY-4.0许可证，可自由使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议CC-BY-4.0
主要语言Python
技术栈/模型chatbot,clip,dual-encoder,gpt4,gpt4o,image-encoder,llama3,llava,multimodal,phi-3-mini,vicuna,video-chatbot,video-conversation,video-encoder,vision-language,vision-language-pretraining
GitHub 星标★ 294
上线时间2024-06-13 00:00:00
代码更新2026-09-05
仓库体积16.9 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

VideoGPT-plus 是论文《VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding》的官方实现，旨在构建一个能同时理解图像和视频的多模态对话助手。它通过双编码器架构，融合了图像编码器（如 CLIP）和视频编码器，并结合大语言模型（如 LLaMA、Phi-3-mini、Vicuna 等），让用户能够对视频内容进行自然语言问答和对话。项目解决了传统视频理解模型只关注单帧或简单时序的问题，通过整合两种编码器来捕捉更丰富的时空信息，从而提升对视频语义的把握。核心能力包括视频问答、视频描述生成、多轮对话等，支持多种主流视觉和语言模型组合，为视频理解研究提供了一个灵活的基线系统。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 294

技术标签

核心亮点

  • 双编码器设计，同时捕捉图像细节和视频时序，理解更全面
  • 支持多种主流LLM（LLaMA、Phi-3、Vicuna）和视觉编码器，灵活组合
  • 官方论文实现，代码结构清晰，适合学术研究和二次开发

不足之处

  • 早期项目，文档和社区支持待观察
  • 依赖较多外部模型权重，部署配置相对复杂

适用场景

  • 视频内容智能问答与摘要生成
  • 视频监控场景的实时语义理解
  • 多模态对话系统的研究与原型开发

替代项目

Video-LLaVA、LLaMA-VID、Video-ChatGPT

上一篇：AetherLink

下一篇：LLMChat

同类项目推荐

automatic-chatgpt-dan 开源

一键自动向ChatGPT发送DAN越狱消息，免去手动复制粘贴

Browser userscript to automatically send DAN messages to ChatGPT

★ 139 2026-08-09
chatskills 开源

在命令行调试 Alexa 技能，一键接入 Slack 等聊天平台。

Run and debug Alexa skills on the command-line. Create bots. Run them in Slack. Run ···

★ 180 2026-08-09
ChatWaifu_Mobile 开源

手机里养个会动会说话的二次元AI老婆，离线也能聊

移动版二次元 AI 老婆聊天器

★ 1431 2026-08-09
ChatGPT-Telegram-Bot 开源

在 Telegram 里丝滑聊天，轻松接入 ChatGPT

A Telegram bot with a silky smooth AI experience. UI enabled.

★ 647 2026-08-09
genai-bedrock-agent-chatbot 开源

用 AWS Bedrock 快速搭一个能查文档、能调工具的智能客服

A demo ChatBot application developed using Amazon Bedrock service's KnowledgeBase, A···

★ 132 2026-09-24
ProGPT 开源

免 Key 免费调用 ChatGPT，Python 几行代码接入对话

Reverse-Engineered Python Client for ChatGPT Web Conversations

★ 87 2026-08-09
simulai 开源

像聊天一样做问卷，AI 帮你轻松收集反馈

simulai is a Notion-inspired open-source and free conversational survey builder, pow···

★ 99 2026-08-09
WhatsAppBotTut 开源

跟着教程，用 Python 快速搭建 WhatsApp 聊天机器人

Tutorial to create WhatsApp Bot using Twilio and Python

★ 146 2026-08-09
ChatGpt-Web 开源

用 React 快速搭建可商用的 ChatGPT 网页应用

A commercially-viable ChatGpt web application built with React. 使用React搭建的一款可···

★ 1355 2026-08-09