WhisperLiveKit

环境要求

• Python 3.11 ~ 3.13
• 已安装 pip（用于安装 whisperlivekit 包）
• 默认音频处理依赖 FFmpeg（使用 --pcm-input 可绕过）
• 可选 GPU：支持 CUDA / Apple Silicon（MLX、MPS）；纯 CPU 也可运行

安装与启动步骤

1. 1安装 whisperlivekit

   README 提供的唯一安装方式，用 pip 从 PyPI 安装。建议在虚拟环境中执行，避免污染系统环境。

   pip install whisperlivekit

   复制

2. 2启动转录服务

   启动本地服务，默认模型 small、监听 localhost:8000。模型首次运行会自动下载，需保证网络可用。

   whisperlivekit-server --model small --host localhost --port 8000

   复制

3. 3开启说话人分离

   加上 --diarization 可区分不同发言者，默认使用 sortformer 后端。需要额外模型权重，首次加载较慢。

   whisperlivekit-server --model small --diarization

   复制

4. 4开启实时翻译

   用 --target-language 指定目标语言，默认走 NLLB 在进程内翻译，CPU 友好；语言列表见 docs/supported_languages.md。

   whisperlivekit-server --model small --target-language zh

   复制

5. 5切换 ASR 后端

   --backend 可选 mlx-whisper、faster-whisper、whisper、openai-api、funasr、qwen3-streaming、canary 等，auto 会按平台自动选择。

   whisperlivekit-server --backend faster-whisper --model small

   复制

关键配置

如何确认成功

服务启动后监听 http://localhost:8000，浏览器打开该地址即可看到前端界面，对着麦克风说话能看到实时转写文字。

常见问题

注意事项

• README 未给出前端页面地址的完整示例，仅从 --port 默认 8000 推断访问入口，请以实际启动日志为准。
• --no-vac / --no-vad 会关闭语音活动检测，README 明确标注 NOT ADVISED，不建议关闭。
• --warmup-file 默认使用 jfk.wav 做模型预热，若该文件不存在可能影响首次启动体验。
• --pcm-input 模式下输入需为 raw PCM (s16le) 且会绕过 FFmpeg，前端改用 AudioWorklet。