
whisper-timestamped
给Whisper识别结果加上精准词级时间戳和置信度
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-18 · 当前星标 ★ 2862
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3(版本 ≥ 3.7,官方推荐至少 3.9)
- ffmpeg(安装方式参见 OpenAI Whisper 仓库说明)
- 如需 GPU 加速,需相应 CUDA 依赖(CPU 用户可用轻量安装)
- Docker(仅在用 Docker 方式安装时需要)
安装与启动步骤
-
1安装 ffmpeg
whisper-timestamped 依赖 ffmpeg 处理音频,README 要求先装好,具体安装方法见 OpenAI Whisper 仓库说明。
-
2CPU 版 torch(可选)
没有 GPU 或不用 GPU 时,先装轻量版 torch 与 torchaudio,再装 whisper-timestamped,可省去 CUDA 依赖。
pip3 install \ torch==1.13.1+cpu \ torchaudio==0.13.1+cpu \ -f https://download.pytorch.org/whl/torch_stable.html -
3pip 安装主包
最简安装方式,一条命令即可装好 whisper-timestamped 及其依赖。
pip3 install whisper-timestamped -
4源码安装
克隆仓库后运行 setup.py 安装,适合需要改代码或查看示例的场景。
git clone https://github.com/linto-ai/whisper-timestamped cd whisper-timestamped/ python3 setup.py install -
5构建 Docker 镜像
构建约 9GB 的完整镜像,包含 GPU 相关依赖;需先克隆仓库并进入目录。
git clone https://github.com/linto-ai/whisper-timestamped cd whisper-timestamped/ docker build -t whisper_timestamped:latest . -
6构建 CPU 镜像
使用 Dockerfile.cpu 构建约 3.5GB 的轻量 CPU 镜像,适合无 GPU 环境。
git clone https://github.com/linto-ai/whisper-timestamped cd whisper-timestamped/ docker build -t whisper_timestamped_cpu:latest -f Dockerfile.cpu . -
7开启 VAD 转写
静音段易让 Whisper 产生幻觉文本,加上 --vad True 可先做语音活动检测再识别。
whisper_timestamped --vad True ... -
8更换 VAD 方法
默认 VAD 为 silero,新版 silero 可能误报,可换成旧版 silero 或 auditok。
whisper_timestamped --vad silero:v3.1 ... whisper_timestamped --vad auditok ...
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
vad | 否 | 转写前做语音活动检测,避免静音段产生幻觉文本 | True |
vad | 否 | 指定 VAD 实现版本,可选 silero 旧版或 auditok | silero:v3.1 |
plot | 否 | 命令行绘图展示 VAD 结果与词对齐情况 | True |
如何确认成功
命令行运行 whisper_timestamped 能得到带词级时间戳的识别结果;加 --plot 可显示 VAD 与对齐图。
常见问题
Q:没有 GPU 怎么办?
A:先按 README 的轻量安装命令装 CPU 版 torch 和 torchaudio,再安装 whisper-timestamped;也可用 Dockerfile.cpu 构建约 3.5GB 的 CPU 镜像。
Q:为什么还要单独装 ffmpeg?
A:README 明确把 ffmpeg 列为安装前提,音频读取与解码依赖它,安装方法见 OpenAI Whisper 仓库说明。
Q:识别结果出现静音段的假文本?
A:这是 Whisper 的幻觉现象,可开启 VAD(--vad True)把语音段拼接后再转写,或改用 silero:v3.1、auditok 等 VAD 方法。
Q:默认用哪种 VAD?
A:默认使用 silero;README 指出最新版 silero 在部分音频上误报较多,可换用旧版本或 auditok。
注意事项
- Python 版本要求 ≥ 3.7,官方推荐至少 3.9。
- 轻量 CPU 版 torch/torchaudio 必须在安装 whisper-timestamped 之前装好。
- 完整 Docker 镜像约 9GB,CPU 镜像约 3.5GB,请预留磁盘空间。
- README 未给出统一的启动成功判断命令,建议自行准备一段音频测试转写输出。
核心亮点
- 词级时间戳精度高,显著优于原生Whisper输出
- 提供单词置信度,便于过滤低质量识别结果
- 支持多语言,API简洁,易于集成到现有项目
不足之处
- 依赖OpenAI Whisper模型,推理速度相对较慢
- 文档/社区待观察
适用场景
- 生成高精度字幕文件(SRT/VTT)
- 语音关键词检索与对齐
- 语音数据分析与说话人分段
替代项目
faster-whisper、whisperX、stable-ts
上一篇:WhisperLiveKit
下一篇:RealtimeSTT
同类项目推荐
parakeet
开源
Whisper 接口不变,转写速度更快
OpenAI Whisper-compatible ASR server using NVIDIA Parakeet TDT 0.6B (ONNX). Super fa···
transcribe
开源
实时转录+AI回复,模拟外语对话练口语
Transcribe is a real time transcription, conversation, Language learning platform. I···
whisper_android
开源
在安卓手机上离线运行 Whisper,实现即时语音转文字
Offline Speech Recognition with OpenAI Whisper and TensorFlow Lite for Android
simul-subtitle
开源
看日语英语视频直播,本地识别加自备模型,实时悬浮字幕
日语、英语视频与直播实时同传悬浮字幕(Android / macOS / Windows)|本地离线语音识别 ···
vocamac
开源
按住热键说话,文字直接落到光标处,全程离线。
Open-source, offline voice-to-text for macOS. Hold a hotkey, speak, text appears. Pr···
SpeechPrompt
开源
用提示学习统一搞定多种语音任务,无需重训模型
**Interspeech 2022** 《SpeechPrompt: An Exploration of Prompt Tuning on Generative S···
speakmore
开源
按快捷键说话,文字直接进光标,模型自选还能全离线
SpeakMore:口述成文,划词即译。开源、免费的语音输入与翻译工具,支持 Mac 与 Windows:···
FastSpeech2
开源
用 PyTorch 快速上手并行语音合成,告别慢速自回归
The Implementation of FastSpeech2 Based on Pytorch.
speechbrain
开源
一站式 PyTorch 语音工具箱,快速搞定识别、说话人验证等任务
A PyTorch-based Speech Toolkit