项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 700
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.8+
- 各引擎的访问密钥
- 统一规格的音频集
安装与启动步骤
-
1装依赖
基准脚本依赖多个语音识别引擎的客户端,按需装。
pip3 install -r requirements.txt -
2准备音频样本
基准测试对音频格式和采样率敏感,统一转成同一规格再比。
-
3跑准确率基准
逐个引擎跑同一批音频,比较词错率。
python3 benchmark.py -
4跑延迟基准
延迟测试更贴近真实体验,注意本机负载会影响结果。
python3 benchmark_latency.py
如何确认成功
两份报告都产出且包含各引擎对比数据
注意事项
- 商用引擎的免费额度有限,批量测试前先看配额。
- 本地引擎与云引擎要分开比,混在一起没有意义。
核心亮点
- 统一 WER 与实时率指标,云端 API、本地模型、边缘引擎放在同一口径下对比
- 内置标准音频数据集和评测脚本,克隆后即可复现结果,降低选型试错成本
- 覆盖 AWS、Google、DeepSpeech、Cheetah 等多种类型引擎,横向参考面广
不足之处
- 项目偏早期,引擎版本与依赖更新可能滞后,新模型覆盖有限
- 评测数据集规模和语种有限,结果未必能直接映射到中文或垂直领域场景
适用场景
- 技术选型阶段快速比较多家语音识别服务的准确率与速度
- 为离线/边缘设备挑选轻量 STT 引擎时评估资源与精度取舍
- 用自有业务语料复测,验证厂商宣传指标是否可信
替代项目
OpenAI Whisper、ESPnet、Kaldi
上一篇:factcircuit
下一篇:benchmarks
同类项目推荐
matharena
开源
用最新数学竞赛题测大模型真实推理水平
Evaluation of LLMs on latest math competitions
modelbench
开源
给 AI 模型做安全体检,一键出详细报告
Run safety benchmarks against AI models and view detailed reports showing how well t···
LLF-Bench
开源
让AI听懂人话反馈,越学越聪明
A benchmark for evaluating learning agents based on just language feedback
svelte-bench
开源
专测大模型写 Svelte 5 代码行不行
An LLM benchmark for Svelte 5 based on the OpenAI methodology from OpenAIs paper "Ev···
empirica
开源
给 AI 装上可靠性仪表盘,让每次输出可测量、可拦截、可信赖。
Make AI agents and AI workflows measurably reliable. Epistemic measurement, Noetic R···
AI-Infra-Guard
开源
一键扫描AI全链路,提前揪出安全漏洞
A full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills S···
eval
开源
用真实编码任务测出大模型真实力,结果公开可对比
Public results and task definitions for FrontierHarness Eval
PromptMe
开源
10 个动手挑战,亲手打穿 LLM 安全漏洞
PromptMe is an educational project that showcases security vulnerabilities in large ···
ResearchClawBench
开源
给AI科研智能体打分,从复现实验到发现新知识
ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to ···
