conformer

用 PyTorch 复现卷积+Transformer 的语音识别模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 语音识别 🍴 复刻 192 🐛 待处理 18 👀 关注 8
GitHub ↗
GitHub 星标 ★ 1138
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,遵循开源许可证

项目预览

conformer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类语音识别
开发团队sooftware
定价模式🏷️完全免费
价格说明开源免费,遵循开源许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型asr,augmented,cnn,conformer,conv,convolution,pytorch,recognition,speech,speech-recognition,transformer,transformer-xl
GitHub 星标★ 1138
上线时间2021-01-21 00:00:00
代码更新2026-11-15
仓库体积2.9 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-11-17
浏览次数0

项目介绍

这是 Conformer 论文(INTERSPEECH 2020)的非官方 PyTorch 实现,面向语音识别任务。Conformer 的核心思路是把 Transformer 的全局自注意力与卷积的局部建模能力结合:卷积擅长捕捉相邻帧的局部声学模式,自注意力负责长距离上下文,两者交替堆叠后能同时兼顾细节与全局信息。项目提供模型定义、训练与解码脚本,以及基于 LibriSpeech 等数据集的配置示例,方便研究者复现论文结构或作为自定义 ASR 系统的骨干网络。代码结构清晰,模块化程度较高,可单独抽取编码器用于其他序列建模任务。适合希望深入理解 Conformer 内部结构、做消融实验或在此基础上改造模型的研究者与工程团队,但作为非官方实现,其训练结果与论文数值可能存在差异,生产部署前需自行验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-17 · 当前星标 ★ 1138

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • Python 3.7 或更高版本
  • NumPy
  • PyTorch(按 PyTorch 官网说明安装)
  • 建议使用 virtualenv 或 conda 新建虚拟环境

安装与启动步骤

  1. 1安装 NumPy

    README 将 NumPy 列为前置依赖,在已激活的虚拟环境中执行安装。

    pip install numpy
  2. 2安装 PyTorch

    README 要求安装 PyTorch,但未给出具体命令,需到 PyTorch 官网按系统和 CUDA 版本选择安装命令。

  3. 3克隆项目源码

    从 GitHub 拉取 conformer 源码到本地,后续在该目录内安装。

    git clone https://github.com/sooftware/conformer.git
  4. 4源码方式安装

    进入项目目录后用 setuptools 以可编辑模式安装,README 说明目前仅支持源码安装。

    cd conformer
    pip install -e .
  5. 5验证模型导入

    用 README 示例参数实例化 Conformer,确认包已正确安装、模型可构建。

    python -c 'from conformer import Conformer; m = Conformer(num_classes=10, input_dim=80, encoder_dim=32, num_encoder_layers=3); print(m)'

关键配置

配置项必填说明示例
num_classes是模型输出类别数,对应词表或字符集大小。10
input_dim是输入声学特征维度,如梅尔滤波器组数。80
encoder_dim否编码器隐藏层维度,示例中取较小值便于测试。32
num_encoder_layers否编码器堆叠层数。3

如何确认成功

运行验证命令后能成功导入 conformer 并打印出 Conformer 模型结构,即表示安装成功。

常见问题

Q:可以直接执行 pip install conformer 安装吗?

A:不行。PyPI 上的 conformer 是另一个同名项目 lucidrains/conformer,本项目必须克隆源码后执行 pip install -e . 安装。

Q:仓库里有训练脚本吗?

A:README 说明本仓库只包含模型代码,如需训练可配合 openspeech 项目使用。

Q:没有 GPU 能运行吗?

A:可以。README 示例通过 torch.cuda.is_available() 自动选择设备,无 GPU 时在 CPU 上运行。

注意事项

  • 本仓库仅提供模型代码,不包含完整训练流程,训练请参考 openspeech。
  • 不要使用 pip install conformer,否则会安装成同名的其他项目。
  • README 建议使用 Python 3.7 或更高版本,并新建虚拟环境。
  • 安装 PyTorch 时需按 PyTorch 官网选择与系统和 CUDA 匹配的命令。

核心亮点

  • 模型结构模块化,卷积模块与自注意力层可单独复用或替换
  • 提供完整训练与解码流程及数据集配置,便于复现实验
  • 代码注释与论文结构对应,适合作为学习 Conformer 的参考实现

不足之处

  • 非官方实现,训练超参与结果未必与论文完全一致
  • 文档以代码为主,缺少系统性的使用教程与调参说明

适用场景

  • 语音识别模型研究与消融实验
  • 作为自定义 ASR 系统的编码器骨干
  • 学习卷积与自注意力混合架构的教学参考

替代项目

ESPnet、WeNet、SpeechBrain

上一篇:simul-subtitle

下一篇:sherpa-ncnn

同类项目推荐

whisper-shortcut 开源

菜单栏一键语音,转文字、控剪贴板、AI 对话全搞定

Voice-first macOS menu bar app: dictate, voice-edit clipboard, read aloud, AI chat w···

★ 76 2026-08-09
template-tiktok 开源

本地 Whisper 自动生成 TikTok 动态字幕

Generate TikTok-style captions with Whisper.cpp

★ 308 2026-09-23
speechbrain 开源

一站式 PyTorch 语音工具箱,快速搞定识别、说话人验证等任务

A PyTorch-based Speech Toolkit

★ 11940 2026-08-26
echogarden 开源

一站式命令行语音工具箱,搞定合成、识别、翻译和分离

Cross-platform speech toolset, used from the command-line or as a Node.js library. I···

★ 454 2026-08-09
WAAS 开源

上传音视频,排队自动转文字,还能调 API

Whisper as a Service (GUI and API with queuing for OpenAI Whisper)

★ 2071 2026-09-23
FluidVoice 开源

本地语音听写,说完即出字,隐私不出设备

Fastest and only macOS Dictation app with on-device STT and custom trained AI enhanc···

★ 13112 2026-10-26
awesome-voice-typing 开源

按平台找离线语音输入工具,一页搞定

Curated list of open-source speech-to-text and voice typing tools for Linux, macOS, ···

★ 218 2026-09-24
conformer 开源

用 PyTorch 复现卷积+Transformer 的语音识别模型

[Unofficial] PyTorch implementation of "Conformer: Convolution-augmented Transformer···

★ 1138 2026-11-17