DeSTA2

不用语音指令数据，也能让模型听懂并执行语音指令

DeSTA2 是 ICASSP 2025 论文的开源代码与模型，旨在解决语音语言模型（SLM）依赖大量人工标注的语音指令微调数据这一痛点。它提出一种无需语音指令微调数据即可开发指令跟随语音语言模型的方法，核心能力包括：利用文本指令数据与语音-文本模态对齐，实现语音指令跟随；提供模型权重、训练代码和推理示例，支持研究者复现和二次开发。项目通过创新的训练策略，让模型在仅使用文本指令数据的情况下，也能理解并响应用户的语音指令，显著降低数据构建成本，推动语音交互模型向更高效、更普适的方向发展。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 128
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队kehanlu
所属国家
官网地址https://kehanlu.github.io/DeSTA2
GitHubhttps://github.com/kehanlu/DeSTA2
定价模式free
价格说明开源模型，代码与模型权重公开，可自行部署，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言HTML
技术栈/模型large-language-models,speech-language-model,speech-processing
GitHub 星标★ 128
30天Star增速
HF 下载量
上线时间2024-09-13 00:00:00
最近更新2026-08-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 提出无需语音指令微调数据的训练方法，大幅降低数据成本
  • 提供完整代码和预训练模型，便于复现和二次开发
  • 基于ICASSP 2025论文，方法经过学术验证，可信度高

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 模型规模和性能未与主流SLM全面对比，实际效果需验证

适用场景

  • 低资源语音指令数据场景下的语音助手开发
  • 学术研究：探索语音-文本模态对齐与指令跟随
  • 多模态模型预训练与微调流程优化

替代项目

Qwen-Audio、SpeechGPT、AudioGPT

项目介绍

DeSTA2 是开源模型领域的开源项目，由 kehanlu 开发，2024 年首次发布。

它收录于开源模型分类，该分类目前共有 422 个项目，GitHub 星标数为 128。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-21。代码与模型权重公开，可自行部署，完全免费。

它主要面向的使用场景是：低资源语音指令数据场景下的语音助手开发。同类可对比的替代方案包括 Qwen-Audio、SpeechGPT、AudioGPT。

上一篇：EVE

下一篇：Attention-Sink

同类项目推荐

Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
CoreML-Models 开源

下载即用的苹果端 AI 模型库，免去转换烦恼

Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···

★ 1873 2026-08-10