benchmarks

统一跑分语音AI,延迟准确率一测便知

开源 🏷️定价信息待确认 ✅ 目前可打开 评测安全 🍴 复刻 16 🐛 待处理 7 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 106
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

benchmarks 项目界面预览图
图片来源:项目官网

项目数据

分类评测安全
开发团队coval-ai
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型agent-evaluation,ai,ai-agents,ai-evals,evals,model-comparison,speech-to-speech,speech-to-text,text-to-speech,voice-agent,voice-agents,voice-ai
GitHub 星标★ 106
上线时间2026-04-29 00:00:00
代码更新2026-11-20
仓库体积9.3 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-06
浏览次数2

项目介绍

这是一个面向语音 AI 的可复现基准测试项目,专注于 TTS(文本转语音)、STT(语音转文本)和 S2S(语音到语音)三类任务的延迟与准确率评测。它解决的是语音 AI 领域缺乏统一、可复现评测标准的问题:不同团队各自跑分,硬件、参数、数据不一致,结果无法横向比较。项目用 Python 实现,提供标准化测试流程,让开发者能在相同条件下测量端到端响应延迟、识别准确率、合成质量等关键指标,并输出可对比的结果。核心能力包括:统一评测协议、可复现的测试脚本、覆盖主流语音模型与 API 的适配层,以及面向 AI Agent 场景的语音交互链路评测。适合在选型、调优和上线前做客观性能验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 106

核心亮点

  • 同时覆盖 TTS、STT、S2S 三类任务,评测维度比只测单一任务的工具更完整
  • 强调可复现性,统一测试协议和脚本,减少硬件与参数差异带来的跑分不可比问题
  • 用 Python 实现,便于集成到现有语音 AI 开发与 CI 流程中

不足之处

  • 项目处于早期,星标约 100,模型适配覆盖面和社区生态仍待观察
  • 文档与评测指标细节可能不够完善,长期维护情况待观察

适用场景

  • 语音 AI 选型时横向对比不同 TTS/STT 服务的延迟与准确率
  • 语音 Agent 上线前做端到端 S2S 响应延迟回归测试
  • 在 CI 中持续监控语音模型升级后的性能变化

替代项目

Hugging Face Evaluate、Open ASR Leaderboard

上一篇:speech-to-text-benchmark

下一篇:getIPIntel

同类项目推荐

jevals 开源

每条 trace 一次请求,几分钱延迟低到能进 Agent 循环

Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···

★ 120 2026-10-03
convex-evals 开源

给 Convex 后端做功能与安全体检,部署前拦住越权和逻辑错。

★ 129 2026-09-14
SREGym 开源

用真实生产事故考题,测出 AI Agent 会不会排障

Can AI agents resolve production incidents?

★ 419 2026-09-12
openai-guardrails-js 开源

给 LLM 应用加一道输入输出安检门,拦截越狱与敏感内容

OpenAI Guardrails - TypeScript / JavaScript

★ 114 2026-09-26
trulens 开源

给LLM应用装上仪表盘,量化评估效果,快速定位问题。

Evaluation and Tracking for LLM Experiments and AI Agents

★ 3661 2026-08-09
MMStar 开源

更公平地测出大模型真实视觉能力,避免作弊分

[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···

★ 218 2026-08-09
terminal-bench 开源

在真实终端里跑任务,量出 agent 到底行不行

Measuring and evolving with the frontier of agent work

★ 1105 2026-10-13
evals-skills 开源

让编码代理手把手帮你搭产品专属 AI 评测

Skills that guide AI coding agents to help you build product-specific AI evals.

★ 1826 2026-09-14
MARBLE 开源

统一环境测多智能体协作与竞争

(ACL 2025 Main) Code for MultiAgentBench : Evaluating the Collaboration and Competi···

★ 321 2026-11-20