speech-to-text-benchmark

一套脚本横评各家语音识别,选型不再靠猜

开源 🏷️基础免费,高级付费 ✅ 目前可打开 评测安全 🍴 复刻 73 👀 关注 27
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 700
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源基准框架免费,Picovoice 云服务提供免费额度及付费方案

项目预览

speech-to-text-benchmark 项目界面预览图
图片来源:项目官网

项目数据

分类评测安全
开发团队Picovoice
定价模式🏷️基础免费,高级付费
价格说明开源基准框架免费,Picovoice 云服务提供免费额度及付费方案
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型aws-transcribe,cheetah,deep-learning,deep-neural-networks,deepspeech,edge-ai,google-speech-to-text,mozilla-deepspeech,offline,picovoice,pocketsphinx,privacy,speech-recognition,speech-to-text,voice-recognition
GitHub 星标★ 700
上线时间2018-08-04 00:00:00
代码更新2026-11-16
仓库体积166.1 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-10-04
浏览次数5

项目介绍

speech-to-text-benchmark 是一个开源的语音转文字(STT)评测框架,用统一的测试流程对比不同语音识别引擎的准确率与速度。它解决的核心问题是:开发者面对 AWS Transcribe、Google Speech-to-Text、Mozilla DeepSpeech、Picovoice Cheetah 等众多方案时,缺少可复现、可横向比较的基准数据,往往只能凭厂商宣传做选型。项目提供标准音频数据集、统一评测脚本和指标计算,输出词错误率(WER)以及实时率(RTF)等结果,帮助判断某个引擎在离线/边缘场景或云端场景下是否够用。它覆盖云端 API、本地深度学习模型和边缘 AI 引擎,支持自定义音频与文本对,方便按自身业务语料复测。整体偏工具与数据参考性质,适合做技术选型前的快速摸底,而非直接集成到生产链路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 700

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.8+
  • 各引擎的访问密钥
  • 统一规格的音频集

安装与启动步骤

  1. 1装依赖

    基准脚本依赖多个语音识别引擎的客户端,按需装。

    pip3 install -r requirements.txt
  2. 2准备音频样本

    基准测试对音频格式和采样率敏感,统一转成同一规格再比。

  3. 3跑准确率基准

    逐个引擎跑同一批音频,比较词错率。

    python3 benchmark.py
  4. 4跑延迟基准

    延迟测试更贴近真实体验,注意本机负载会影响结果。

    python3 benchmark_latency.py

如何确认成功

两份报告都产出且包含各引擎对比数据

注意事项

  • 商用引擎的免费额度有限,批量测试前先看配额。
  • 本地引擎与云引擎要分开比,混在一起没有意义。

核心亮点

  • 统一 WER 与实时率指标,云端 API、本地模型、边缘引擎放在同一口径下对比
  • 内置标准音频数据集和评测脚本,克隆后即可复现结果,降低选型试错成本
  • 覆盖 AWS、Google、DeepSpeech、Cheetah 等多种类型引擎,横向参考面广

不足之处

  • 项目偏早期,引擎版本与依赖更新可能滞后,新模型覆盖有限
  • 评测数据集规模和语种有限,结果未必能直接映射到中文或垂直领域场景

适用场景

  • 技术选型阶段快速比较多家语音识别服务的准确率与速度
  • 为离线/边缘设备挑选轻量 STT 引擎时评估资源与精度取舍
  • 用自有业务语料复测,验证厂商宣传指标是否可信

替代项目

OpenAI Whisper、ESPnet、Kaldi

上一篇:factcircuit

下一篇:benchmarks

同类项目推荐

matharena 开源

用最新数学竞赛题测大模型真实推理水平

Evaluation of LLMs on latest math competitions

★ 299 2026-10-23
modelbench 开源

给 AI 模型做安全体检,一键出详细报告

Run safety benchmarks against AI models and view detailed reports showing how well t···

★ 139 2026-10-10
LLF-Bench 开源

让AI听懂人话反馈,越学越聪明

A benchmark for evaluating learning agents based on just language feedback

★ 99 2026-08-09
svelte-bench 开源

专测大模型写 Svelte 5 代码行不行

An LLM benchmark for Svelte 5 based on the OpenAI methodology from OpenAIs paper "Ev···

★ 190 2026-09-15
empirica 开源

给 AI 装上可靠性仪表盘,让每次输出可测量、可拦截、可信赖。

Make AI agents and AI workflows measurably reliable. Epistemic measurement, Noetic R···

★ 257 2026-08-09
AI-Infra-Guard 开源

一键扫描AI全链路,提前揪出安全漏洞

A full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills S···

★ 7545 2026-08-09
eval 开源

用真实编码任务测出大模型真实力,结果公开可对比

Public results and task definitions for FrontierHarness Eval

★ 369 2026-09-05
PromptMe 开源

10 个动手挑战,亲手打穿 LLM 安全漏洞

PromptMe is an educational project that showcases security vulnerabilities in large ···

★ 112 2026-09-15
ResearchClawBench 开源

给AI科研智能体打分,从复现实验到发现新知识

ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to ···

★ 282 2026-08-09