video-SALMONN-2

让AI看懂视频也听懂声音，生成精准音视频描述

video-SALMONN-2 是清华大学电子工程系与字节跳动联合开发的新一代音视频大语言模型，旨在解决视频理解中音频与视觉信息融合不足的问题。该模型能够接收视频中的视觉帧和音频轨道，生成高质量的音视频描述（captions），并支持基于视频内容的问答、推理等任务。其核心能力包括：多模态对齐（将音频和视觉特征统一映射到语言空间）、时间感知的序列建模（捕捉视频中事件的时间顺序）、以及细粒度的音视频事件描述（如识别背景音乐、对话、环境音等）。相比前代，SALMONN-2 在长视频理解、跨模态引用和复杂场景推理上有所增强，并提供了公开的模型权重和推理代码。该项目主要面向视频内容理解、自动字幕生成、视频检索等应用场景，适合研究者和开发者进行二次开发。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 218

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队bytedance

所属国家

官网地址

GitHubhttps://github.com/bytedance/video-SALMONN-2

定价模式free

价格说明开源模型，Apache-2.0 许可证，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型audio-processing,audio-visual-understanding,bytedance,large-language-models,llm,multi-modal,research,speech,tsinghua-university,video,video-understanding

GitHub 星标★ 218

30天Star增速

HF 下载量

上线时间2025-06-18 00:00:00

最近更新2026-09-21 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

联合清华与字节跳动，学术与工业界双重背书，模型架构先进
支持音频与视觉深度融合，能捕捉对话、音乐、环境音等细粒度信息
提供预训练权重和推理代码，便于直接使用和微调

不足之处

项目处于早期阶段（星标207），文档和社区支持尚不完善
模型体积可能较大，推理资源要求高，部署门槛不低

适用场景

视频自动字幕生成与内容描述
视频检索与摘要（基于音视频内容）
辅助视障人士理解视频内容

替代项目

Video-LLaVA、VideoChat、Qwen-VL

项目介绍

video-SALMONN-2 是开源模型领域的开源项目，由 bytedance 开发，2025 年首次发布。

它收录于开源模型分类，该分类目前共有 425 个项目，GitHub 星标数为 218。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-21。Apache-2.0 许可证，可免费使用和部署。

它主要面向的使用场景是：视频自动字幕生成与内容描述。同类可对比的替代方案包括 Video-LLaVA、VideoChat、Qwen-VL。

上一篇：OmniVinci

下一篇：LLM4Decompile