DeSTA2

不用语音指令数据，也能让模型听懂并执行语音指令

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 10 🐛 待处理 6 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 127
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，代码与模型权重公开，可自行部署，完全免费。

项目预览

DeSTA2 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队kehanlu
官网地址https://kehanlu.github.io/DeSTA2
GitHubhttps://github.com/kehanlu/DeSTA2
定价模式🏷️完全免费
价格说明开源模型，代码与模型权重公开，可自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言HTML
技术栈/模型large-language-models,speech-language-model,speech-processing
GitHub 星标★ 127
上线时间2024-09-13 00:00:00
代码更新2025-07-15
仓库体积4.5 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

DeSTA2 是 ICASSP 2025 论文的开源代码与模型，旨在解决语音语言模型（SLM）依赖大量人工标注的语音指令微调数据这一痛点。它提出一种无需语音指令微调数据即可开发指令跟随语音语言模型的方法，核心能力包括：利用文本指令数据与语音-文本模态对齐，实现语音指令跟随；提供模型权重、训练代码和推理示例，支持研究者复现和二次开发。项目通过创新的训练策略，让模型在仅使用文本指令数据的情况下，也能理解并响应用户的语音指令，显著降低数据构建成本，推动语音交互模型向更高效、更普适的方向发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 127

核心亮点

  • 提出无需语音指令微调数据的训练方法，大幅降低数据成本
  • 提供完整代码和预训练模型，便于复现和二次开发
  • 基于ICASSP 2025论文，方法经过学术验证，可信度高

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 模型规模和性能未与主流SLM全面对比，实际效果需验证

适用场景

  • 低资源语音指令数据场景下的语音助手开发
  • 学术研究：探索语音-文本模态对齐与指令跟随
  • 多模态模型预训练与微调流程优化

替代项目

Qwen-Audio、SpeechGPT、AudioGPT

上一篇：EVE

下一篇：Attention-Sink

同类项目推荐

jev 开源

笔记本本地跑，秒回是或否

jevos: an open-source alternative to Jev and Microsoft-Decision-1. Yes/no decisions,···

★ 949 2026-09-28
understand-prompt 开源

一份笔记，带你玩转Stable Diffusion、ChatGPT和Copilot

【 内含不适合未成年人阅读的图片】基于我擅长的编程、绘画、写作展开的 AI 探索和总结：S···

★ 5657 2026-08-09
llm.pdf 开源

打开 PDF 就能和 AI 聊天，不用装任何环境

Run LLMs inside a PDF file.

★ 876 2026-09-22
mPLUG-2 开源

一个模型搞定图文视频的理解与生成

mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video (IC···

★ 228 2026-08-09
LIMU-BERT_Experience 开源

用海量IMU数据预训练，让传感器模型开箱即用

LIMU-BERT-X is a sensor foundation model pretrained with 1.43 millions hours of IMU ···

★ 73 2026-08-09
gemma 开源

谷歌开放权重模型，本地单卡即可跑推理和微调

Gemma open-weight LLM library, from Google DeepMind

★ 5838 2026-09-16
RWKV-LM 开源

用 RNN 的速度跑出 GPT 的效果，长上下文不再烧显存

RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be dir···

★ 14772 2026-08-09
mace-foundations 开源

开箱即用的高精度原子势能模型，让材料模拟快如闪电

MACE foundation models (MP, OMAT, mh-1)

★ 324 2026-08-09
Consistency_LLM 开源

让大模型并行吐字，推理速度翻倍

[ICML 2024] CLLMs: Consistency Large Language Models

★ 418 2026-08-09