VideoRAG

上传视频,直接提问,秒回带时间戳的答案。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 491 🐛 待处理 57 👀 关注 51
GitHub ↗
GitHub 星标 ★ 3515
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费。

项目预览

VideoRAG 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队HKUDS
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型large-language-models,llms,long-video-understanding,multi-modal-llms,rag,retrieval-augmented-generation
GitHub 星标★ 3515
上线时间2025-02-03 00:00:00
代码更新2026-03-18
仓库体积6.6 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

VideoRAG 是一个基于检索增强生成(RAG)技术的开源项目,专注于让用户直接与视频内容进行对话。它解决了传统视频理解中难以精准定位和引用具体片段的问题,通过将视频的视觉、音频和文本信息进行联合建模,构建可检索的向量索引,并利用大语言模型生成带有时间戳引用的回答。核心能力包括:自动提取视频关键帧、语音转写、多模态语义检索、以及基于检索结果的流式问答。用户上传视频后,系统会分析内容并建立索引,之后可以针对视频细节提问,获得带时间戳的答案,并支持跳转到对应画面。项目采用 Python 实现,提供了简洁的 API 和命令行工具,适合快速集成到现有应用中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3515

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(用于运行 VideoRAG 后端服务)
  • Electron 前端运行环境(README 提到需启动 Electron 应用)
  • 可访问 GitHub 以获取源码
  • 磁盘空间用于存放视频文件与索引

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 VideoRAG 源码到本地,后续安装步骤都基于该目录进行。

    git clone https://github.com/HKUDS/VideoRAG
  2. 2查看桌面端说明

    README 指明完整安装与配置步骤位于 Vimo-desktop 目录,进入后按该目录文档操作。

    cd VideoRAG/Vimo-desktop
  3. 3搭建后端环境

    按 Vimo-desktop 文档搭建 Python 后端环境,并启动 VideoRAG 服务,命令以文档为准。

  4. 4启动前端应用

    在后端服务就绪后,按文档指引启动 Electron 前端桌面应用。

  5. 5开始视频对话

    前后端联通后,导入视频建立索引,即可针对视频内容提问并获得带时间戳的回答。

如何确认成功

Electron 桌面窗口成功打开,能导入视频并收到后端返回的问答结果,即表示启动成功。

常见问题

Q:详细的安装步骤在哪里?

A:README 明确指向仓库中的 Vimo-desktop 目录,完整安装与配置说明都在该目录下,请以那里为准。

Q:支持多长的视频?

A:README 称 Vimo 可理解和分析任意长度的视频,从短片到数百小时的长内容均可处理。

Q:后端和前端分别是什么?

A:后端是 Python 实现的 VideoRAG 服务,前端是 Electron 桌面应用程序,两者需分别启动。

Q:有演示或技术资料吗?

A:README 提供了 YouTube 演示视频链接,以及论文 arXiv:2502.01549 可供参考。

Q:遇到问题如何求助?

A:可通过 README 中给出的微信/飞书群入口或 Discord 频道提交反馈与提问。

注意事项

  • README 未给出具体安装命令、依赖版本与端口,实际部署请严格按 Vimo-desktop 目录内文档执行。
  • 本仓库同时包含 VideoRAG 框架与 Vimo 桌面应用,注意区分两者的用途。
  • 项目论文为 arXiv:2502.01549,需要了解原理时可查阅。

核心亮点

  • 多模态理解:融合视觉、音频和文本,能回答画面和声音相关的问题
  • 时间戳引用:每个答案都附带视频时间点,方便用户快速验证和跳转
  • 检索效率高:基于向量索引,即使长视频也能快速定位关键信息

不足之处

  • 视频处理依赖外部模型,首次运行需下载较大模型文件
  • 对中文视频的语音转写支持可能不如英文完善
  • 文档/社区待观察

适用场景

  • 教育领域:学生针对课程视频提问,快速找到知识点讲解片段
  • 会议纪要:从长会议录像中提取关键决策和讨论内容
  • 内容审核:辅助人工审核视频中的违规内容,定位具体时间点

替代项目

LangChain、LlamaIndex、VideoDB

上一篇:OpenKB

下一篇:rag-web-ui

同类项目推荐

genai-devday-notebooks 开源

跟着 Notebook 跑一遍,用 MongoDB 搭出可用的 RAG 检索问答

This repository is home to all the Jupyter Notebooks required for MongoDB's GenAI De···

★ 118 2026-09-12
nosia 开源

自托管 AI 知识库,私有部署 RAG 问答

Self-hosted AI RAG + MCP Platform

★ 211 2026-08-09
LongRAG 开源

长文档问答更准,双视角检索+长上下文生成

[EMNLP 2024] LongRAG: A Dual-perspective Retrieval-Augmented Generation Paradigm for···

★ 122 2026-08-09
arxie 开源

读论文、找关联、提假设,一键生成研究反馈

Research feedback grounded in the papers that define your field

★ 114 2026-08-09
ObsidianRAG 开源

本地AI问答你的Obsidian笔记,隐私安全不泄露

Ask questions about your Obsidian notes using local AI. Privacy-first RAG with Ollam···

★ 126 2026-08-09
adk-vertex-ai-rag-engine 开源

两分钟搭好文档语义搜索问答 Agent

A RAG agent using Google's ADK & Vertex AI that lets set up semantic search across ···

★ 109 2026-11-08
uajy-academic-rag-chatbot 开源

上传手册就能对话问答,学生查规章秒出答案

Production-grade RAG chatbot for Universitas Atma Jaya Yogyakarta academic handbook ···

★ 453 2026-09-14
ask.py 开源

一条命令查完资料,答案自动总结好

A simple Python program to implement the search-extract-summarize flow.

★ 283 2026-08-09
ketch 开源

让 AI 代理秒搜网页,无状态抓取快人一步

Fast, stateless CLI for web search and scrape. Built for AI agents.

★ 742 2026-08-09