Llama-AVSR

用大语言模型提升音视频语音识别准确率，解决复杂场景听不清问题

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 8 🐛 待处理 1 👀 关注 5
GitHub ↗
GitHub 星标 ★ 68
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，代码公开，可自行部署使用，无收费计划。

项目预览

Llama-AVSR 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队umbertocappellazzo
GitHubhttps://github.com/umbertocappellazzo/Llama-AVSR
定价模式🏷️完全免费
价格说明开源项目，代码公开，可自行部署使用，无收费计划。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型audio-visual-speech-recognition,large-language-models,visual-speech-recognition
GitHub 星标★ 68
上线时间2025-02-24 00:00:00
代码更新2026-01-18
仓库体积22.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Llama-AVSR 是一个基于大型语言模型的音视频语音识别开源项目，提供了 ICASSP 2025 和 ICASSP 2026 两篇论文的官方 PyTorch 实现。该项目旨在解决传统音视频语音识别（AVSR）模型在复杂场景下性能受限的问题，通过将 Llama 等大语言模型引入 AVSR 任务，利用其强大的上下文建模和推理能力，融合音频与视觉唇语特征，显著提升识别准确率。核心能力包括：多模态特征对齐与融合、基于 LLM 的序列建模、以及针对注意力机制中注意力沉没和巨大激活值问题的优化方法。项目代码基于 PyTorch，支持训练和推理流程，适合研究者和开发者复现论文结果或在此基础上进行二次开发。目前项目处于早期阶段，星标数较少，但技术路线前沿，为 AVSR 领域提供了新的解决思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 68

技术标签

核心亮点

  • 将 LLM 引入 AVSR，利用其强大上下文建模能力，识别准确率显著优于传统方法
  • 提供 ICASSP 2025 和 2026 两篇论文官方代码，技术前沿且可复现
  • 针对注意力沉没和巨大激活值问题提出优化方案，提升模型训练稳定性

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 依赖大规模 LLM，推理资源需求较高，部署门槛不低

适用场景

  • 嘈杂环境下的语音识别（如会议、街头）
  • 视频内容自动字幕生成（结合唇语信息）
  • 多模态人机交互系统（语音+视觉融合）

替代项目

AV-HuBERT、VideoLLaMA、Whisper+Visual

上一篇：FireRedASR

下一篇：ten-turn-detection

同类项目推荐

whisply 开源

批量音视频一键转文字、翻译并生成字幕

Fast, cross-platform CLI and GUI for batch transcription, translation, speaker annot···

★ 167 2026-09-24
react-native-spokestack 开源

给 React Native 应用加上语音交互，一句话搞定识别、合成和理解

Spokestack: give your React Native app a voice interface!

★ 60 2026-08-09
Kaze 开源

按住说话，松手出字，全程本地不联网

Local speech to text app - Talk instead of typing.

★ 222 2026-10-11
google-speech-v2 开源

逆向 Google 语音接口，免费实现语音转文字

:speech_balloon: Reverse Engineering Google's Speech To Text API (v2)

★ 469 2026-08-09
SmartSub 开源

本地离线搞定字幕生成、翻译、配音和烧录，一站式高效处理

视频转字幕、字幕翻译、AI 配音与声音克隆、字幕烧录——免费开源的一站式桌面工具。基于 ···

★ 5980 2026-08-10
murmur 开源

按住说话，Mac 本地转文字，隐私不出门

Private, on-device voice dictation for macOS

★ 128 2026-09-24
heard 开源

对着电脑说句话，AI 编程助手就能听懂并回你

Local, open-source (Apache 2.0) voice layer for Claude Code and Codex on macOS that ···

★ 217 2026-09-15
timething 开源

让文本转录自动匹配音频时间轴，精准定位每一句话。

Timething is a library for aligning text transcripts with their audio recordings.

★ 133 2026-08-09
fcpx-auto-captions 开源

FCP 视频一键生成字幕，不用手打时间轴

Auto Captions for Final Cut Pro Powered by OpenAI's Whisper Model

★ 373 2026-10-03