Freeze-Omni

冻结LLM,低成本打造低延迟语音对话模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 30 🐛 待处理 16 👀 关注 7
GitHub ↗
GitHub 星标 ★ 402
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,本地部署,完全免费

项目预览

Freeze-Omni 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队VITA-MLLM
定价模式🏷️完全免费
价格说明开源模型,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型large-language-models,multimodal-large-language-models,speech,speech-recognition,speech-synthesis,speech-to-speech
GitHub 星标★ 402
上线时间2024-11-04 00:00:00
代码更新2025-05-27
仓库体积10.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Freeze-Omni 是一个智能且低延迟的语音到语音对话模型,其核心创新在于冻结大语言模型(LLM)参数,仅训练语音编码器和解码器,从而大幅降低训练成本并保持 LLM 的原有能力。它解决了传统端到端语音对话模型训练资源消耗大、推理延迟高的问题,支持流式语音输入输出,实现自然、实时的对话体验。项目基于 Python 实现,提供了完整的训练和推理代码,适合研究人员和开发者快速上手。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 402

核心亮点

  • 冻结LLM参数,训练资源需求低,适合小团队复现
  • 支持流式语音交互,端到端延迟低,对话更自然
  • 代码结构清晰,提供训练和推理示例,易于二次开发

不足之处

  • 早期项目,文档和社区支持待观察
  • 语音质量与多语言支持可能有限

适用场景

  • 实时语音助手开发
  • 低资源环境下的语音对话模型训练
  • 多模态交互研究

替代项目

Qwen-Audio、SpeechGPT、Mini-Omni

上一篇:Kyara

下一篇:Awesome-LLM-Survey

同类项目推荐

HuBERT-ECG 开源

用无标注心电数据预训练,打造能适应多种心脏任务的通用AI模型。

A self-supervised foundation ECG model for broad and scalable cardiac applications

★ 83 2026-08-09
LLMPapers 开源

一站式追踪大模型前沿论文与工作

Papers & Works for large languange models (OpenAI GPT-4, Meta Llama, etc.).

★ 313 2026-08-09
Spark-X2.5 开源

本地跑智能体大模型,离线也能调工具写代码

Spark-x2.6 open model series. Pushing the Limits of Agentic Capabilities in On-Devic···

★ 900 2026-10-01
Awesome-Chinese-LLM 开源

一站式找到适合私有化部署的中文大模型资源

整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主,包括底座···

★ 22778 2026-08-09
Awesome-VLA 开源

一网打尽视觉-语言-动作模型前沿进展

✨✨latest advancements in VLA models(VIsion Language Action)

★ 130 2026-08-09
X-Prompt 开源

用统一提示词,让自回归模型轻松搞定各类图像生成任务

Official implementation of X-Prompt: Towards Universal In-Context Image Generation i···

★ 158 2026-08-09
Large-Scale-Medical 开源

用几何先验预训练三维医学影像,让模型更懂解剖结构

[TPAMI 2026] Large-Scale 3D Medical Image Pre-training with Geometric Context Priors

★ 291 2026-08-09
openjourney 开源

免费复刻 Midjourney 风格,本地跑起艺术生成

A fine-tuned model based on Stable Diffusion to create images in the style of Midjou···

★ 80 2026-08-09