video-SALMONN-2

让AI看懂视频也听懂声音，生成精准音视频描述

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 27 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 224
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0 许可证，可免费使用和部署。

项目预览

video-SALMONN-2 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队bytedance
GitHubhttps://github.com/bytedance/video-SALMONN-2
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-processing,audio-visual-understanding,bytedance,large-language-models,llm,multi-modal,research,speech,tsinghua-university,video,video-understanding
GitHub 星标★ 224
上线时间2025-06-18 00:00:00
代码更新2026-09-02
仓库体积350 KB
本站数据更新2026-11-10
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

video-SALMONN-2 是清华大学电子工程系与字节跳动联合开发的新一代音视频大语言模型，旨在解决视频理解中音频与视觉信息融合不足的问题。该模型能够接收视频中的视觉帧和音频轨道，生成高质量的音视频描述（captions），并支持基于视频内容的问答、推理等任务。其核心能力包括：多模态对齐（将音频和视觉特征统一映射到语言空间）、时间感知的序列建模（捕捉视频中事件的时间顺序）、以及细粒度的音视频事件描述（如识别背景音乐、对话、环境音等）。相比前代，SALMONN-2 在长视频理解、跨模态引用和复杂场景推理上有所增强，并提供了公开的模型权重和推理代码。该项目主要面向视频内容理解、自动字幕生成、视频检索等应用场景，适合研究者和开发者进行二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 224

核心亮点

  • 联合清华与字节跳动，学术与工业界双重背书，模型架构先进
  • 支持音频与视觉深度融合，能捕捉对话、音乐、环境音等细粒度信息
  • 提供预训练权重和推理代码，便于直接使用和微调

不足之处

  • 项目处于早期阶段（星标207），文档和社区支持尚不完善
  • 模型体积可能较大，推理资源要求高，部署门槛不低

适用场景

  • 视频自动字幕生成与内容描述
  • 视频检索与摘要（基于音视频内容）
  • 辅助视障人士理解视频内容

替代项目

Video-LLaVA、VideoChat、Qwen-VL

上一篇：OmniVinci

下一篇：LLM4Decompile

同类项目推荐

CogView2 开源

用层次化Transformer，快速生成高质量图像

official code repo for paper "CogView2: Faster and Better Text-to-Image Generation v···

★ 952 2026-08-09
Chat-UniVi 开源

一个模型同时看懂图片和视频，统一视觉理解新方案

[CVPR 2024 Highlight] Chat-UniVi: Unified Visual Representation Empowers Large Langu···

★ 945 2026-08-09
coedit 开源

用一句话指令，让AI帮你改稿、纠错、换风格

Official implementation of the paper "CoEdIT: Text Editing by Task-Specific Instruct···

★ 147 2026-08-09
Chinese-LLaMA-Alpaca 开源

让 LLaMA 说好中文，消费级硬件也能训练部署

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

★ 18917 2026-08-09
SoulChat 开源

中文心理对话模型，一键部署情绪支持助手

中文领域心理健康对话大模型SoulChat

★ 772 2026-08-09
MNISTDiffusion 开源

从零手写扩散模型，4.5MB 轻量生成 MNIST 数字

Implement a MNIST(also minimal) version of denoising diffusion probabilistic model f···

★ 146 2026-08-09
RSP 开源

搞清遥感预训练哪种强，照着跑实验就行

The official repo for [TGRS'22] "An Empirical Study of Remote Sensing Pretraining"

★ 159 2026-08-09
YAYI 开源

基于LlaMA2的中文专属大模型，让企业快速拥有安全可控的私有化AI能力。

雅意大模型：为客户打造安全可靠的专属大模型，基于大规模中英文多领域指令数据训练的 Lla···

★ 2526 2026-08-09