TheWhisper

让 Whisper 在本地设备上边听边转，低延迟出字幕

TheWhisper 是对 OpenAI Whisper 语音识别模型的工程化优化版本，专注于流式识别和端侧部署两大场景。原版 Whisper 虽然识别准确率高，但模型体积大、推理延迟高，难以在手机、笔记本等设备上实时运行。TheWhisper 针对不同硬件后端做了适配：在 Apple Silicon 上借助 CoreML 和 MLX 框架加速，在 NVIDIA GPU 上做推理优化，并支持流式分块解码，让音频边输入边出文字，而不是等整段录完再转写。项目用 Python 实现，覆盖实时字幕、会议记录、语音笔记等需要低延迟转写的用途，同时保留 Whisper 多语言识别能力。对于想在本地跑语音识别、又不想依赖云端 API 的开发者来说，它提供了开箱可用的优化方案，兼顾隐私与响应速度。