项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 106
核心亮点
- 同时覆盖 TTS、STT、S2S 三类任务,评测维度比只测单一任务的工具更完整
- 强调可复现性,统一测试协议和脚本,减少硬件与参数差异带来的跑分不可比问题
- 用 Python 实现,便于集成到现有语音 AI 开发与 CI 流程中
不足之处
- 项目处于早期,星标约 100,模型适配覆盖面和社区生态仍待观察
- 文档与评测指标细节可能不够完善,长期维护情况待观察
适用场景
- 语音 AI 选型时横向对比不同 TTS/STT 服务的延迟与准确率
- 语音 Agent 上线前做端到端 S2S 响应延迟回归测试
- 在 CI 中持续监控语音模型升级后的性能变化
替代项目
Hugging Face Evaluate、Open ASR Leaderboard
下一篇:getIPIntel
同类项目推荐
jevals
开源
每条 trace 一次请求,几分钱延迟低到能进 Agent 循环
Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···
convex-evals
开源
给 Convex 后端做功能与安全体检,部署前拦住越权和逻辑错。
SREGym
开源
用真实生产事故考题,测出 AI Agent 会不会排障
Can AI agents resolve production incidents?
openai-guardrails-js
开源
给 LLM 应用加一道输入输出安检门,拦截越狱与敏感内容
OpenAI Guardrails - TypeScript / JavaScript
trulens
开源
给LLM应用装上仪表盘,量化评估效果,快速定位问题。
Evaluation and Tracking for LLM Experiments and AI Agents
MMStar
开源
更公平地测出大模型真实视觉能力,避免作弊分
[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···
terminal-bench
开源
在真实终端里跑任务,量出 agent 到底行不行
Measuring and evolving with the frontier of agent work
evals-skills
开源
让编码代理手把手帮你搭产品专属 AI 评测
Skills that guide AI coding agents to help you build product-specific AI evals.
MARBLE
开源
统一环境测多智能体协作与竞争
(ACL 2025 Main) Code for MultiAgentBench : Evaluating the Collaboration and Competi···
