MGM-Omni

让语音大模型记住你的声音,长对话也能个性化陪伴

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 音频音乐 🍴 复刻 11 🐛 待处理 5 👀 关注 7
GitHub ↗
GitHub 星标 ★ 202
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

MGM-Omni 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队JIA-Lab-research
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-language-model,multi-modal-large-language-model,multi-modality,multimodal,text-to-speech
GitHub 星标★ 202
上线时间2025-08-17 00:00:00
代码更新2026-06-20
仓库体积28.6 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

MGM-Omni 是一个面向个性化长时语音交互的多模态大语言模型(Omni LLM)开源项目。它解决的是现有语音大模型在长时间对话中缺乏个性化、语音与文本模态对齐不佳的问题。其核心能力包括:支持文本与语音的联合理解与生成,可处理长达数分钟的连续语音输入;通过引入说话人嵌入(speaker embedding)实现个性化音色与说话风格定制;基于大规模语音-文本数据预训练,提升跨模态语义对齐精度。项目采用Python实现,技术栈涵盖音频语言模型、多模态大模型、文本转语音(TTS)等,旨在为下一代语音助手、实时翻译、有声内容生成等场景提供统一的模型基座。目前处于早期阶段(GitHub 205星),代码和模型权重已开放,但文档和生态尚在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 202

核心亮点

  • 首创将说话人嵌入融入Omni LLM,实现个性化音色与风格的长时语音生成
  • 支持文本+语音联合输入输出,覆盖理解与生成全链路,减少模态转换损耗
  • 开源代码与模型权重,基于主流LLM架构(如Qwen)扩展,便于二次开发

不足之处

  • 早期项目,文档和社区支持待观察
  • 模型参数量与推理资源需求较高,个人开发者部署门槛不低

适用场景

  • 开发个性化语音助手(如陪伴型AI、虚拟主播)
  • 构建多语言实时语音翻译与同传系统
  • 为有声书、播客等长音频内容生成定制化配音

替代项目

Qwen-Audio、SpeechGPT、Mini-Omni

上一篇:magvit2-pytorch

下一篇:mongolian-nlp

同类项目推荐

relational-transformer 开源

把多表数据库喂给Transformer,预训练到推理一条龙

Pretraining, fine-tuning, inference and test-time scaling of relational transformer ···

★ 130 2026-10-14
HRM 开源

让AI学会分步思考,复杂推理不再翻车

Hierarchical Reasoning Model Official Release

★ 12667 2026-08-09
FuseAI 开源

融合多个模型,打造更强 AI

FuseAI Project

★ 93 2026-08-09
Baichuan2 开源

开源中英双语大模型,轻松部署私有化对话应用

A series of large language models developed by Baichuan Intelligent Technology

★ 4073 2026-08-09
StableDiffusion-PyTorch 开源

从零手写 Stable Diffusion,彻底搞懂扩散模型原理

This repo implements a Stable Diffusion model in PyTorch with all the essential comp···

★ 256 2026-08-09
Awesome-Chinese-LLM 开源

一站式找到适合私有化部署的中文大模型资源

整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主,包括底座···

★ 22779 2026-08-09
reconstruction-alignment 开源

用重建对齐让多模态模型零样本能力大爆发

[ICLR 2026] RecA: visual understanding help generation through self-supervised learn···

★ 419 2026-08-09