Llama-AVSR

用大语言模型提升音视频语音识别准确率，解决复杂场景听不清问题

Llama-AVSR 是一个基于大型语言模型的音视频语音识别开源项目，提供了 ICASSP 2025 和 ICASSP 2026 两篇论文的官方 PyTorch 实现。该项目旨在解决传统音视频语音识别（AVSR）模型在复杂场景下性能受限的问题，通过将 Llama 等大语言模型引入 AVSR 任务，利用其强大的上下文建模和推理能力，融合音频与视觉唇语特征，显著提升识别准确率。核心能力包括：多模态特征对齐与融合、基于 LLM 的序列建模、以及针对注意力机制中注意力沉没和巨大激活值问题的优化方法。项目代码基于 PyTorch，支持训练和推理流程，适合研究者和开发者复现论文结果或在此基础上进行二次开发。目前项目处于早期阶段，星标数较少，但技术路线前沿，为 AVSR 领域提供了新的解决思路。