
conformer
用 PyTorch 复现卷积+Transformer 的语音识别模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-17 · 当前星标 ★ 1138
使用教程
环境要求
- Python 3.7 或更高版本
- NumPy
- PyTorch(按 PyTorch 官网说明安装)
- 建议使用 virtualenv 或 conda 新建虚拟环境
安装与启动步骤
-
1安装 NumPy
README 将 NumPy 列为前置依赖,在已激活的虚拟环境中执行安装。
pip install numpy -
2安装 PyTorch
README 要求安装 PyTorch,但未给出具体命令,需到 PyTorch 官网按系统和 CUDA 版本选择安装命令。
-
3克隆项目源码
从 GitHub 拉取 conformer 源码到本地,后续在该目录内安装。
git clone https://github.com/sooftware/conformer.git -
4源码方式安装
进入项目目录后用 setuptools 以可编辑模式安装,README 说明目前仅支持源码安装。
cd conformer pip install -e . -
5验证模型导入
用 README 示例参数实例化 Conformer,确认包已正确安装、模型可构建。
python -c 'from conformer import Conformer; m = Conformer(num_classes=10, input_dim=80, encoder_dim=32, num_encoder_layers=3); print(m)'
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
num_classes | 是 | 模型输出类别数,对应词表或字符集大小。 | 10 |
input_dim | 是 | 输入声学特征维度,如梅尔滤波器组数。 | 80 |
encoder_dim | 否 | 编码器隐藏层维度,示例中取较小值便于测试。 | 32 |
num_encoder_layers | 否 | 编码器堆叠层数。 | 3 |
如何确认成功
运行验证命令后能成功导入 conformer 并打印出 Conformer 模型结构,即表示安装成功。
常见问题
Q:可以直接执行 pip install conformer 安装吗?
A:不行。PyPI 上的 conformer 是另一个同名项目 lucidrains/conformer,本项目必须克隆源码后执行 pip install -e . 安装。
Q:仓库里有训练脚本吗?
A:README 说明本仓库只包含模型代码,如需训练可配合 openspeech 项目使用。
Q:没有 GPU 能运行吗?
A:可以。README 示例通过 torch.cuda.is_available() 自动选择设备,无 GPU 时在 CPU 上运行。
注意事项
- 本仓库仅提供模型代码,不包含完整训练流程,训练请参考 openspeech。
- 不要使用 pip install conformer,否则会安装成同名的其他项目。
- README 建议使用 Python 3.7 或更高版本,并新建虚拟环境。
- 安装 PyTorch 时需按 PyTorch 官网选择与系统和 CUDA 匹配的命令。
核心亮点
- 模型结构模块化,卷积模块与自注意力层可单独复用或替换
- 提供完整训练与解码流程及数据集配置,便于复现实验
- 代码注释与论文结构对应,适合作为学习 Conformer 的参考实现
不足之处
- 非官方实现,训练超参与结果未必与论文完全一致
- 文档以代码为主,缺少系统性的使用教程与调参说明
适用场景
- 语音识别模型研究与消融实验
- 作为自定义 ASR 系统的编码器骨干
- 学习卷积与自注意力混合架构的教学参考
替代项目
ESPnet、WeNet、SpeechBrain
上一篇:simul-subtitle
下一篇:sherpa-ncnn
同类项目推荐
sherpa-onnx-unity
开源
在Unity里离线搞定语音识别和合成,无需云服务
sherpa-onnx in unity
whisper-shortcut
开源
菜单栏一键语音,转文字、控剪贴板、AI 对话全搞定
Voice-first macOS menu bar app: dictate, voice-edit clipboard, read aloud, AI chat w···
template-tiktok
开源
本地 Whisper 自动生成 TikTok 动态字幕
Generate TikTok-style captions with Whisper.cpp
speechbrain
开源
一站式 PyTorch 语音工具箱,快速搞定识别、说话人验证等任务
A PyTorch-based Speech Toolkit
echogarden
开源
一站式命令行语音工具箱,搞定合成、识别、翻译和分离
Cross-platform speech toolset, used from the command-line or as a Node.js library. I···
WAAS
开源
上传音视频,排队自动转文字,还能调 API
Whisper as a Service (GUI and API with queuing for OpenAI Whisper)
FluidVoice
开源
本地语音听写,说完即出字,隐私不出设备
Fastest and only macOS Dictation app with on-device STT and custom trained AI enhanc···
awesome-voice-typing
开源
按平台找离线语音输入工具,一页搞定
Curated list of open-source speech-to-text and voice typing tools for Linux, macOS, ···
conformer
开源
用 PyTorch 复现卷积+Transformer 的语音识别模型
[Unofficial] PyTorch implementation of "Conformer: Convolution-augmented Transformer···