Chat-UniVi
一个模型同时看懂图片和视频，统一视觉理解新方案
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 945
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10
- NVIDIA GPU（7B 建议 24GB 显存）
安装与启动步骤
-
1克隆仓库
仓库含 7B / 13B 两套演示入口。
git clone https://github.com/PKU-YuanGroup/Chat-UniVi && cd Chat-UniVi -
2建 conda 环境
官方指定 Python 3.10。
conda create -n chatunivi python=3.10 -y && conda activate chatunivi -
3装依赖
以可编辑模式安装，改源码后不用重装。
pip install --upgrade pip && pip install -e . -
4起 7B 演示
uvicorn 直接拉起 Gradio/FastAPI 服务。
CUDA_VISIBLE_DEVICES=0 uvicorn main_demo_7B:app --host 0.0.0.0 --port 8888 -
5或换 13B
显存够时换 13B 入口，参数不变。
CUDA_VISIBLE_DEVICES=0 uvicorn main_demo_13B:app --host 0.0.0.0 --port 8888
如何确认成功
访问 8888 端口能看到对话界面，上传图片或视频能得到文字回复。
注意事项
- 权重需按 README 从 Hugging Face 单独下载并放回仓库指定目录，否则启动报缺文件。
核心亮点
- 统一视觉表示，无需分别训练图像和视频模型，架构简洁高效
- 动态 token 选择机制，根据输入复杂度自适应调整计算量，节省资源
- CVPR 2024 Highlight 论文背书，方法经过学术验证，性能有保障
不足之处
- 文档和社区支持尚待完善，新手入门可能有一定门槛
- 项目处于早期阶段，生态和工具链不如成熟项目丰富
适用场景
- 多模态对话机器人，同时支持用户上传图片和视频进行问答
- 视频内容理解与分析，如视频摘要、事件识别
- 学术研究，探索统一视觉表示在多模态大模型中的应用
替代项目
Video-LLaVA、LLaVA、VideoChat
同类项目推荐
how-to-optim-algorithm-in-cuda
开源
手把手教你榨干GPU性能，从入门到精通CUDA优化
how to optimize some algorithm in cuda.
open_clip
开源
开源复现 CLIP，训练微调零样本多模态模型
An open source implementation of CLIP.
NEO
开源
从零构建原生视觉语言模型，让多模态理解更简单透明
NEO Series: Native Vision-Language Models from First Principles
Awesome-Foundation-Models
开源
一站式查找视觉语言基础模型，省时省力。
A curated list of foundation models for vision and language tasks
OpenGraph
开源
训练一次，零样本适配任意新图任务
[EMNLP'2024] "OpenGraph: Towards Open Graph Foundation Models"
MiniMax-01
开源
线性注意力大模型，超长上下文轻松跑
The official repo of MiniMax-Text-01 and MiniMax-VL-01, large-language-model & visio···
ChatTime
开源
让时间序列模型读懂文本，预测更准
PyTorch implementation of "ChatTime: A Unified Multimodal Time Series Foundation Mod···
sd-akashic
开源
一站式查阅 Stable Diffusion 知识库，快速上手与进阶
A compendium of informations regarding Stable Diffusion (SD)
Awesome-LLM-KG
开源
一页看懂LLM与知识图谱融合的所有关键论文
Awesome papers about unifying LLMs and KGs