项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
技术标签
使用教程
—
环境要求
- Python 3.10(README 用 conda 创建 python=3.10 环境)
- 已安装 conda
- 已安装 git
- 可访问 GitHub 与 HuggingFace 以下载仓库与权重
安装与启动步骤
-
1克隆并进入仓库
从 GitHub 拉取 Mega-ASR 源码,并切换到项目根目录,后续命令都在此目录执行。
git clone https://github.com/xzf-thu/Mega-ASR.git cd Mega-ASR -
2创建 conda 环境
新建名为 mega-asr 的 Python 3.10 环境并激活,避免与其他项目依赖冲突。
conda create -n mega-asr python=3.10 -y conda activate mega-asr -
3安装依赖
在已激活的 mega-asr 环境中,按仓库提供的 requirements.txt 安装全部依赖。
pip install -r requirements.txt -
4下载模型权重
运行仓库自带下载脚本获取 Mega-ASR 权重(也可从 HuggingFace 页面手动下载)。
python scripts/download.py
如何确认成功
README 未给出明确的启动校验方式;可确认下载脚本无报错结束,且权重文件已落到本地目录。
常见问题
Q:为什么需要 router?
A:README 说明 Mega-ASR 训练数据本身 WER 偏高,基础识别能力略有下降,因此用 router 判断当前音频是否启用 Mega-ASR,即是否挂载 LoRA 权重。
Q:模型权重从哪里获取?
A:执行 python scripts/download.py,或前往 HuggingFace 的 Mega-ASR Weights 页面(huggingface.co/zhifeixie/Mega-ASR)下载。
Q:离线推理命令是什么?
A:README 的 Offline Inference 代码块未包含在本次节选中,请到仓库 README 查看并复制完整推理命令,不要自行猜测参数。
Q:训练数据可以拿到吗?
A:可以,README 提供了 Voices-in-the-Wild-2M 数据集链接(huggingface.co/datasets/zhifeixie/Voices-in-the-Wild-2M)。
Q:对硬件有什么要求?
A:README 节选中未说明 GPU 或显存要求,仅给出 Python 3.10 环境与 requirements.txt,请按实际推理需求自行准备。
注意事项
- 所有命令需在克隆后的 Mega-ASR 目录内执行。
- conda 环境名固定为 mega-asr,激活后再运行 pip 安装与脚本。
- README 节选缺少离线推理示例代码,实际使用前请先查阅仓库完整 README。
- 项目运行环境需能访问 GitHub 和 HuggingFace。
核心亮点
- 覆盖7种原子声学条件和54种复合场景,训练数据达260万条,真实场景适应性强
- 在噪声、远场等挑战性环境下比现有SOTA模型最多提升30%准确率
- 提供开箱即用的Python接口,易于集成到实际语音应用中
不足之处
- 文档/社区待观察
- 模型体积和推理速度未公开,可能影响资源受限场景部署
适用场景
- 嘈杂环境下的语音助手(如车载、工业现场)
- 远场会议录音转写
- 智能安防监控中的语音识别
替代项目
Whisper、Kaldi、ESPnet
下一篇:wenet
同类项目推荐
obs-localvocal
开源
直播录屏时,本地AI实时生成字幕,保护隐私零延迟
OBS plugin for local speech recognition and captioning using AI
LiveCaptions-Translator
开源
实时捕获系统音频,一键翻译成你懂的语言
Lightweight and powerful real-time audio/speech translation tool based on Windows Li···
speechbrain
开源
一站式 PyTorch 语音工具箱,快速搞定识别、说话人验证等任务
A PyTorch-based Speech Toolkit
whisper-diarization
开源
给语音转写加上说话人标签,会议记录一目了然
Automatic Speech Recognition with Speaker Diarization based on OpenAI Whisper
