项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1568
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 可访问 GitHub 的网络环境(需克隆仓库并切换分支)
- 已安装 Git 命令行工具
- Python / CUDA 等运行环境需参照所选分支内的说明(主仓库未给出)
- 不同分支模型规模不同,算力需求各异
安装与启动步骤
-
1克隆主仓库
将 SALMONN 主仓库克隆到本地。主仓库只是各模型分支的入口,本身不含推理代码。
git clone https://github.com/bytedance/SALMONN.git -
2进入仓库目录
切换到克隆下来的 SALMONN 目录,后续所有分支切换操作都在此目录内进行。
cd SALMONN -
3查看可用分支
列出远程分支,确认 README 中提到的 salmonn2、ELLSA、videosalmonn、salmonn 等分支名称。
git branch -a -
4切换到目标分支
根据不同模型选择分支:SALMONN 2 用 salmonn2,视频版用 videosalmonn,ICLR 2024 版用 salmonn。以 salmonn 分支为例。
git checkout salmonn -
5阅读分支内说明
进入分支后查看该分支自己的 README,其中才有对应模型的安装、权重下载与推理命令,主仓库未提供。
cat README.md
如何确认成功
git branch -a 能列出 salmonn2、ELLSA、videosalmonn、salmonn 等分支,且当前分支内可见 resource 目录与对应 README。
常见问题
Q:主仓库 README 里没有安装和使用步骤怎么办?
A:主仓库只是入口页,安装、权重下载和推理命令都写在各个分支(如 salmonn2、videosalmonn、salmonn)自己的 README 中,需先切换分支再查看。
Q:我应该选哪个分支?
A:按需求选择:想用最新语音模型选 salmonn2,音视频理解选 videosalmonn 或 video-SALMONN-o1,经典 SALMONN(ICLR 2024)选 salmonn 分支。
Q:模型权重在哪里下载?
A:README 节选未给出权重下载地址,请到对应分支的 README 或官网 https://bytedance.github.io/SALMONN 查看。
Q:可以直接在主分支运行推理吗?
A:不可以。主分支仅列出各模型分支链接,推理代码和依赖都在具体分支内,必须切换分支后再按该分支说明操作。
注意事项
- 主仓库 README 只提供各模型分支链接,不含安装与推理说明,务必先切换到目标分支。
- 不同分支对应不同论文与版本(ICLR 2024、ICML 2024/2025、ICLR 2026 等),API 与依赖可能互不兼容。
- 本教程中的命令仅为仓库准备动作,模型运行所需依赖、权重与参数请以分支内 README 为准。
- 克隆仓库前请确认磁盘空间与网络,模型权重通常体积较大。
核心亮点
- 统一处理语音、音频、视觉和文本,无需外部ASR,端到端训练
- 在语音翻译、音频事件检测等任务上刷新多项基准
- 提供多尺寸模型,兼顾效果与部署灵活性
不足之处
- 模型参数量较大,推理资源需求高
- 中文社区资料相对较少,文档/社区待观察
适用场景
- 智能助手:理解用户语音和视频输入,提供多模态响应
- 音视频内容分析:自动识别语音、音乐和事件,生成摘要
- 无障碍辅助:将音频内容转为文字或视觉描述
替代项目
Qwen-Audio、AudioGPT、SpeechGPT
上一篇:awesome-large-audio-models
下一篇:OralGPT
同类项目推荐
Awesome-Colorful-LLM
开源
一页看尽LLM多领域前沿进展,快速定位所需资源。
Recent advancements propelled by large language models (LLMs), encompassing an array···
scMulan
开源
用大模型统一搞定单细胞分析多任务,零样本也能预测
Repository for paper scMulan: a multitask generative pre-trained language model for ···
VibeThinker
开源
1.5B小模型,跑出大模型推理逻辑
Tiny Model, Big Logic: Diversity-Driven Optimization Elicits Large-Model Reasoning A···
awesome-llm-os
开源
一网打尽大模型操作系统资源,快速跟上前沿趋势
A curated list of awesome resources, tools, research papers, and projects related to···
ContextDiff
开源
让AI画图/视频更懂你的文字,语义对齐更精准
[ICLR 2024] Contextualized Diffusion Models for Text-Guided Image and Video Generati···
MOSS-Image
开源
5B文生图模型,图里文字清晰、排版不乱
Official repository for MOSS-Image, a 5B-parameter base DiT model with high-quality ···
awesome-local-llm
开源
一站式找到本地跑大模型的所有工具和教程
A curated list of awesome platforms, tools, practices and resources that helps run L···
LLaVA-MoD
开源
把 LLaVA 模型做小做快,性能不掉线
[ICLR 2025] LLaVA-MoD: Making LLaVA Tiny via MoE-Knowledge Distillation
GPT-Models-Plus
开源
一个脚本搞定 ChatGPT、Claude、Grok 多模型调用
别问我为什么大杂烩放在一块,懒得新建项目
