StreamSpeech

一个模型搞定语音识别、翻译和合成,离线同声两相宜

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 105 🐛 待处理 14 👀 关注 14
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1293
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,MIT许可证,完全免费,需自行部署使用。

项目预览

StreamSpeech 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队ictnlp
定价模式🏷️完全免费
价格说明开源模型,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型all-in-one,asr,audio-processing,machine-translation,non-autoregressive,seamless,simultaneous-translation,speech,speech-enhancement,speech-processing,speech-recognition,speech-synthesis,speech-to-text,speech-translation,streaming-audio,text-to-audio,text-to-speech,translation,tts,voice
GitHub 星标★ 1293
上线时间2024-06-04 00:00:00
代码更新2025-06-29
仓库体积18.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

StreamSpeech 是一个“一体化”的无缝语音模型,同时支持离线与同声传译场景下的语音识别(ASR)、语音翻译和语音合成。它解决了传统级联系统延迟高、错误累积和资源占用大的问题,通过单一模型直接完成从源语言语音到目标语言语音的转换。其核心能力包括:基于非自回归(NAR)的并行解码,大幅降低翻译延迟;支持离线(高精度)与同声(低延迟)两种模式切换;覆盖多语言语音识别、翻译和合成任务。项目基于 PyTorch 实现,提供了预训练模型和推理代码,适合研究者和开发者用于构建实时语音翻译应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1293

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 20 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目为 Python 实现,建议 3.8 及以上)
  • PyTorch(项目基于 PyTorch 实现,需自行按 README 指定版本安装)
  • 足够的磁盘空间与内存,本地推理语音模型建议配备 GPU
  • 可访问 GitHub 与项目官网的网络环境

安装与启动步骤

  1. 1克隆代码仓库

    从 GitHub 拉取 StreamSpeech 源码,后续安装与推理都在该目录内进行。

    git clone https://github.com/ictnlp/StreamSpeech.git
    cd StreamSpeech
  2. 2阅读快速开始

    打开 README 的 Quick Start 一节,按其给出的依赖与推理说明操作,先读再装。

  3. 3创建虚拟环境

    用独立虚拟环境隔离 Python 依赖,避免与系统包冲突;Windows 请改用 venv 激活脚本。

    python -m venv venv
    source venv/bin/activate
  4. 4安装依赖与模型

    按仓库 README 与 Quick Start 给出的依赖清单安装,并下载其提供的预训练模型权重。

如何确认成功

README 节选未给出验证命令;能按 Quick Start 跑通推理脚本并输出 ASR 或翻译结果,即视为环境就绪。

常见问题

Q:README 里 Quick Start 没有内容怎么办?

A:本段节选只保留了标题,请直接打开 GitHub 仓库 README 的 Quick Start 一节,以及项目官网上的示例页面获取完整安装与推理说明。

Q:离线模式和同声传译模式如何切换?

A:README 与项目简介只说明两种模式均受支持,未给出具体切换方式,需查阅论文与仓库代码中的推理脚本参数。

Q:必须要 GPU 吗?

A:README 未明确说明硬件要求,但语音翻译模型推理通常建议使用 GPU;如仅有 CPU,请以仓库实际支持的推理方式为准。

注意事项

  • 本次提供的 README 节选未包含任何安装命令、依赖包名、端口或路径,因此步骤仅为基于仓库地址与 Python 项目的通用准备动作。
  • 严禁照着本文档凭空执行 pip install 未验证的包名或 docker 命令,一切以 GitHub 仓库 README 的实际内容为准。
  • StreamSpeech 为 ACL 2024 研究代码,使用前请阅读论文并遵守仓库的开源许可协议。

核心亮点

  • 真正一体化架构,避免级联误差,推理速度更快
  • 支持离线与同声模式切换,灵活适配不同场景
  • 非自回归解码,显著降低同声翻译延迟

不足之处

  • 模型训练需要大规模多语言语音数据,资源门槛较高
  • 文档/社区待观察

适用场景

  • 实时会议同声传译系统
  • 多语言语音助手
  • 视频字幕自动生成与翻译

替代项目

SeamlessM4T、Whisper、Fairseq

上一篇:ComfyUI-Whisper

下一篇:speech-swift

同类项目推荐

annyang 开源

几行代码给网站加上语音命令,让用户动嘴就能操作

Speech recognition for your site

★ 6820 2026-08-10
oido 开源

5美元芯片上跑离线语音识别,不用联网不用NPU

Oído: open-vocabulary speech recognition on a $5 ESP32-S3, faster than real time. N···

★ 131 2026-10-09
PyAutoSRT 开源

拖入视频,自动生成原文+翻译字幕

PySimpleGUI based DESKTOP APP to AUTO GENERATE SUBTITLE FILE (using free Google Spee···

★ 191 2026-09-15
whishper 开源

本地运行,一键将音频转文字、翻译并编辑字幕

Transcribe any audio to text, translate and edit subtitles 100% locally with a web U···

★ 3105 2026-08-10
typeflux 开源

按住热键说话,松开就把文字打进当前应用

Typeflux is a macOS menu bar voice input tool built with Swift. It is designed for a···

★ 364 2026-10-11
MiMo-V2.5-ASR 开源

多语言方言嘈杂环境也能转写的语音识别模型

Robust Speech Recognition Across Languages, Dialects, and Complex Acoustic Scenarios

★ 345 2026-11-03
faster-whisper 开源

把 Whisper 语音转文字提速数倍,CPU 也能跑

Faster Whisper transcription with CTranslate2

★ 26629 2026-10-03
fcpx-auto-captions 开源

FCP 视频一键生成字幕,不用手打时间轴

Auto Captions for Final Cut Pro Powered by OpenAI's Whisper Model

★ 373 2026-10-03
SmartSpeaker 开源

用STM32+ESP8266自造一台能联网听话的智能音箱

一个基于云端语音识别的智能控制设备,类似于天猫精灵,小爱同学。采用的芯片为stm32f407,···

★ 314 2026-10-03