Confucius4-R2T2

边说边转文字,低延迟还不掉准确率

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 语音识别 🍴 复刻 85 🐛 待处理 2 👀 关注 8
GitHub ↗
GitHub 星标 ★ 892
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源模型,无定价信息

项目预览

Confucius4-R2T2 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类语音识别
开发团队netease-youdao
定价模式🏷️完全免费
价格说明开源模型,无定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
GitHub 星标★ 892
上线时间2026-09-08 00:00:00
代码更新2026-11-06
仓库体积51.1 MB
本站数据更新2026-11-14
维护状态较活跃
收录时间2026-10-01
浏览次数2

项目介绍

Confucius4-R2T2 是一个面向实时场景的语音识别开源模型,主打低延迟与高准确率的平衡。它解决的是传统 ASR 模型在流式识别中要么延迟高、要么精度掉的问题,通过模型结构或解码策略的优化,让语音转文字在边说边出结果的同时保持可用的识别质量。核心能力包括流式/实时语音识别、低延迟输出、对中文等语言的准确率优化,以及 Python 接口便于集成。项目适合需要实时字幕、语音交互、会议转写等场景的开发者,可作为云端或本地部署的识别引擎。当前处于早期阶段,星标数约 731,代码和文档仍在完善中,适合愿意跟进前沿方案、能接受一定调试成本的技术团队评估使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-01 · 当前星标 ★ 892

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.10
  • NVIDIA GPU(建议)
  • ffmpeg

安装与启动步骤

  1. 1克隆

    有道开源的低延迟流式 ASR 模型。

    git clone https://github.com/netease-youdao/Confucius4-R2T2.git
    cd Confucius4-R2T2
  2. 2装依赖

    按 requirements 装,注意音频解码库。

    pip install -r requirements.txt
  3. 3下权重

    权重体积较大,先确认磁盘空间。

    huggingface-cli download netease-youdao/Confucius4-R2T2 --local-dir ./ckpt
  4. 4流式推理

    分块从 80ms 到 2s 可配,延迟与准确率互换。

    python infer.py --chunk_ms 320

如何确认成功

喂一段音频能逐块吐字,最终文本与原文一致。

注意事项

  • 它是 append-only 解码,适合实时字幕而不是长文转写。
  • 块越小延迟越低但错误率上升,按场景调。

核心亮点

  • 主打低延迟与高准确率兼顾,针对实时流式场景优化
  • Python 实现,便于二次开发和集成到现有语音管线
  • 提供实时识别能力,适合字幕、语音交互等在线场景

不足之处

  • 早期项目,文档和示例可能不完整
  • 社区规模较小,长期维护和生态支持待观察

适用场景

  • 实时会议字幕与转写
  • 语音助手/智能客服的在线语音识别
  • 直播或视频的实时字幕生成

替代项目

whisper、vosk、FunASR

上一篇:Transcribro

下一篇:mlx-qwen3-asr

同类项目推荐

voxtral-mini-realtime-rs 开源

在浏览器或本地用 Rust 跑实时语音识别与合成

Voxtral ASR & TTS running natively and in the browser. A Rust implementation of Mist···

★ 828 2026-08-09
mimiuchi 开源

在 VR 里动嘴就能打字,语音秒变文字发给任意应用

a free, customizable, osc capable speech-to-text interface for relaying text to diff···

★ 63 2026-08-09
docker-whisper 开源

一条命令自建 OpenAI 兼容语音转文字服务,带说话人分离

ScribeCrate: open-source, self-hosted Whisper speech-to-text server powered by faste···

★ 123 2026-09-15
super-voice-assistant 开源

按个快捷键,说话变文字、屏幕能转写、选中就能读

macOS voice assistant with global hotkeys - transcribe speech to text with offline m···

★ 217 2026-10-11
whisper-local 开源

按住热键说话,本地秒出文字,不联网不订阅

Free, open-source, 100% offline AI dictation for Windows & macOS. Wispr Flow / Drago···

★ 188 2026-10-12
FunASR 开源

开箱即用的中文语音识别全家桶,一键部署服务

Open-source speech recognition toolkit for training, inference, streaming ASR, VAD, ···

★ 21021 2026-08-10
X2-Turn 开源

一边转写一边判断该不该接话,降低对话延迟

Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Predicti···

★ 105 2026-10-21
AudioNotes 开源

上传音视频,自动生成结构化 Markdown 笔记

快速提取音视频内容,整理成一份结构化的markdown笔记

★ 2560 2026-08-10
talon-ai-tools 开源

用语音直接指挥 AI 工具,解放双手提效

Query LLMs and AI tools with voice commands

★ 93 2026-08-09