ultravox

让AI语音对话快如真人，实时响应不卡顿

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 388 🐛 待处理 62 👀 关注 55

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4587

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源模型，MIT许可证，可免费本地部署使用。

项目预览

项目数据

分类开源模型

开发团队fixie-ai

官网地址https://ultravox.ai

GitHubhttps://github.com/fixie-ai/ultravox

定价模式🏷️完全免费

价格说明开源模型，MIT许可证，可免费本地部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai,llm,slm,speech

GitHub 星标★ 4587

上线时间2024-05-29 00:00:00

代码更新2025-12-12

仓库体积2.5 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数8

项目介绍

ultravox 是一个专注于实时语音交互的多模态大语言模型（LLM），旨在解决传统语音助手延迟高、交互不自然的问题。它通过将音频直接作为输入模态与文本联合建模，实现了低至数百毫秒的端到端语音对话，无需传统的语音识别（ASR）和语音合成（TTS）流水线。核心能力包括：流式音频输入输出、支持打断和实时响应、基于Llama等开源基座模型微调、提供简洁的Python API和WebSocket接口。项目采用Python编写，依赖HuggingFace生态，支持自定义数据集训练和推理部署。其设计强调速度与自然度，适合构建实时语音代理、语音交互应用等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4587

技术标签

ai llm speech

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 20 分钟部署方式：本地安装 6 步

环境要求

MacOS 系统（README 的环境配置章节以 Mac 为例；Debian/Ubuntu 可用 apt 替代 Homebrew）
Homebrew 包管理器
Just 命令行工具（项目脚本统一入口）
pyenv（因项目使用 Poetry，推荐用它管理环境）
Python 3.11

安装与启动步骤

1安装 Homebrew

MacOS 的包管理器，后续工具都通过它安装；Linux 用户可改用 apt。
```
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
```
2更新并安装 Just

先更新 Homebrew 索引，再安装 Just；Just 是项目所有 shell 工作流的统一入口。
```
brew update
brew install just
```
3安装 pyenv 依赖

先装 xz，再装 pyenv，用于管理隔离的 Python 版本环境。
```
brew install xz
brew install pyenv
```
4初始化 pyenv

执行 pyenv init 让 shell 能识别 pyenv 安装的 Python 版本。
```
pyenv init
```
5安装 Python 3.11

安装并使用 Python 3.11 作为全局版本，项目依赖 Poetry 对版本有要求。
```
pyenv install 3.11
pyenv global 3.11
```
6运行评估或推理

在仓库根目录执行，config 文件指定模型、数据集和推理/评估配置。
```
just eval --config_path ultravox/evaluation/configs/eval_config.yaml
```

关键配置

配置项	必填	说明	示例
`eval_config.yaml`	是	评估/推理配置文件，指定所用模型、数据集及相关参数	`ultravox/evaluation/configs/eval_config.yaml`
`数据集配置目录`	否	README 中数据集配置文件所在目录，需含 eval_config 字段	`ultravox/data/configs/`
`registry.py`	否	自定义数据集需在此注册后才能被识别使用	`ultravox/data/registry.py`