UltraEval-Audio

一站式音频模型评测，快速对比知己知彼

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 29 🐛 待处理 6 👀 关注 12
GitHub ↗
GitHub 星标 ★ 328
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

UltraEval-Audio 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队OpenBMB
GitHubhttps://github.com/OpenBMB/UltraEval-Audio
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型asr,audio-codec,benchmark,evaluation,llm-evaluation,speech-recognition,speech-to-speech,speech-to-text,tts,voice-cloning
GitHub 星标★ 328
上线时间2024-11-11 00:00:00
代码更新2026-11-03
仓库体积74.1 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数4

项目介绍

UltraEval-Audio 是一个面向音频领域的统一评测基准框架，旨在为 ASR（语音识别）、TTS（语音合成）、音频编解码器以及音频大语言模型提供标准化、可复现的评估能力。它解决了音频模型评测中标准不一、流程繁琐、结果难以横向对比的问题，通过统一的接口和数据集，让开发者能够快速、公平地评估自家模型与竞品的性能。核心能力包括：支持多种音频任务、提供丰富的评测指标、自动化评测流程、以及清晰的报告输出，帮助用户'知己知彼'，明确模型改进方向。项目目前处于早期阶段，但框架设计具有扩展性，未来有望覆盖更多音频任务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 328

核心亮点

  • 统一框架覆盖ASR/TTS/编解码器/音频LLM，减少重复搭建评测流程
  • 提供标准化指标和自动化流程，提升评测结果的可比性和复现性
  • 早期项目但结构清晰，便于社区贡献和扩展新任务

不足之处

  • 文档和社区生态尚待完善，上手可能需要自行摸索
  • 评测数据集和指标覆盖范围有限，可能无法满足所有细分场景

适用场景

  • 学术研究：对比不同音频模型在标准基准上的表现
  • 工业落地：在选型或迭代时快速评估模型性能
  • 竞赛/评测：为音频评测比赛提供统一底层框架

替代项目

SpeechBrain、ESPnet、HuggingFace Evaluate

上一篇：eva

下一篇：Auditor

同类项目推荐

inseq 开源

一键透视生成模型，看透每个 token 的决策依据

Interpretability for sequence generation models

★ 477 2026-08-09
SemBench 开源

给语义查询引擎跑分，选型不再靠猜

Benchmarking Semantic Query Processing Engines

★ 69 2026-08-09
MisguidedAttention 开源

用误导性提示词，测出大模型推理的短板

A collection of prompts to challenge the reasoning abilities of large language model···

★ 489 2026-08-09
llm_chess 开源

让大模型下棋，测出推理和守规则的真实水平

LLM Chess - evaluating Large Language Models' reasoning and instruction-following ab···

★ 139 2026-09-15
benchmark-radar 开源

一站追踪全球 AI 评测基准，每日更新可溯源

Track 42,331+ AI benchmark, eval, dataset, and data-quality records from 40 public s···

★ 382 2026-09-14
sample-agent-cost-bench 开源

横向评测编程代理的成本、质量与耗时

Benchmark framework that measures cost, quality, and duration of coding agents acros···

★ 110 2026-10-27
chinese-llm-benchmark 开源

看中文大模型谁最强，查百万缺陷库避坑

非线智能 NoneLinear - ReLE评测：中文AI大模型能力评测（持续更新）：目前已囊括374个大模···

★ 6509 2026-08-10
getIPIntel 开源

一个 API 查 IP，拦代理、VPN、TOR 和恶意流量

IP Intelligence is a free Proxy VPN TOR and Bad IP detection tool to prevent Fraud, ···

★ 334 2026-10-06