LLMVoX

让任意LLM秒变语音助手,流式对话零延迟

LLMVoX 是一个将任意大型语言模型(LLM)转换为支持流式语音对话的端到端系统。它解决了传统语音助手需要额外语音识别和合成模块、延迟高且交互不自然的问题。核心能力包括:基于自回归编解码器(codec)的语音生成,支持流式输出,能边生成边播放;与主流 LLM 无缝集成,无需修改原模型结构;提供多模态交互能力,让文本模型具备语音输入输出。项目基于 Python 实现,技术栈涉及音频编解码、神经语音合成和多模态大模型,由 MBZUAI 团队开发,目前处于早期阶段,但架构设计清晰,适合研究者和开发者快速集成语音能力到现有 LLM 应用中。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 312
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队mbzuai-oryx
所属国家
定价模式free
价格说明开源模型,可本地部署,完全免费使用。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型audio,audiollm,codec,llm,llmvox,mbzuai,mini-omni,multimodal-large-language-models,neural-speech-synthesis,omni,streaming,text-to-speech,transformers,tts,voice-assistant,wavtokenizer
GitHub 星标★ 312
30天Star增速
HF 下载量
上线时间2025-03-06 00:00:00
最近更新2026-09-17 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 与任意LLM无缝集成,无需修改模型结构,即插即用
  • 自回归流式生成,音频延迟低,支持边生成边播放
  • 基于codec的语音编解码,音质自然,且支持多语言扩展

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 依赖特定codec模型,可能对低资源设备不友好

适用场景

  • 将现有文本LLM快速升级为语音助手(如智能音箱、车载助手)
  • 实时语音翻译和同声传译场景
  • 多模态交互应用(如虚拟人、游戏NPC)

替代项目

Mini-Omni、Qwen-Audio、SpeechGPT

项目介绍

LLMVoX 是音频音乐领域的开源项目,由 mbzuai-oryx 开发,2025 年首次发布。

它收录于音频音乐分类,该分类目前共有 738 个项目,GitHub 星标数为 312。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-17。可本地部署,完全免费使用。

它主要面向的使用场景是:将现有文本LLM快速升级为语音助手(如智能音箱、车载助手)。同类可对比的替代方案包括 Mini-Omni、Qwen-Audio、SpeechGPT。

上一篇:xcodec

下一篇:wavegrad

同类项目推荐

tango 开源

输入一句话,自动生成匹配的音频内容

A family of diffusion models for text-to-audio generation.

★ 1239 2026-08-09
AuK 开源

一个模型搞定语音生成、编辑与分离

AuK: An Open-Source Foundational Model for Speech Generation and Editing

★ 1236 2026-09-13
swift-tts 开源

Swift 项目三行代码接入系统 TTS,兼容 TCA 和 Combine

A straightforward package containing version for Swift modern concurrency, Point-Fre···

★ 52 2026-08-09
ai-dj 开源

现场演出中实时用 AI 生成音乐,保持人类掌控

AI music generation for live performance - Standalone (Ableton Link) + VST3/AU. 8 tr···

★ 246 2026-08-09