MOSS-Transcribe-Diarize

环境要求

• Python 3.12（README 明确测试版本）
• Transformers 5.x
• uv 包管理器（用于建虚拟环境和装依赖）
• 可选：CUDA GPU，装 flash-attn 后可用更快的注意力内核
• 需联网从 HuggingFace 拉取 OpenMOSS-Team/MOSS-Transcribe-Diarize 权重

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取源码，命令执行后会在当前目录生成项目文件夹。

   git clone https://github.com/OpenMOSS/MOSS-Transcribe-Diarize.git

   复制

2. 2进入项目目录

   后续所有安装与运行命令都在该目录下执行。

   cd MOSS-Transcribe-Diarize

   复制

3. 3创建虚拟环境

   README 要求使用干净的 Python 环境，此处用 uv 创建 Python 3.12 的 .venv。

   uv venv --python 3.12 .venv

   复制

4. 4激活虚拟环境

   Linux/macOS 下激活；激活后命令行前缀会出现 (.venv)。

   source .venv/bin/activate

   复制

5. 5安装项目依赖

   以可编辑模式安装 torch-runtime 依赖组，torch 后端自动匹配本机环境。

   uv pip install -e ".[torch-runtime]" --torch-backend=auto

   复制

6. 6可选装 flash-attn

   仅 CUDA GPU 需要，装上后可在代码里切换 flash_attention_2 加速长音频。

   uv pip install flash-attn

   复制

7. 7运行转写示例

   把 audio_path 换成自己的 wav 文件；eager 极易 OOM，长音频请用 flash_attention_2。

   import torch
   from transformers import AutoModelForCausalLM, AutoProcessor
   
   from moss_transcribe_diarize import parse_transcript
   from moss_transcribe_diarize.inference_utils import (
       build_transcription_messages,
       generate_transcription,
       resolve_device,
   )
   
   model_id = "OpenMOSS-Team/MOSS-Transcribe-Diarize"
   audio_path = "audio.wav"
   
   device = resolve_device("auto")
   dtype = torch.bfloat16 if device.type == "cuda" else torch.float32
   
   model = AutoModelForCausalLM.from_pretrained(
       model_id,
       trust_remote_code=True,
       dtype="auto",
       attn_implementation="sdpa",
   ).to(dtype=dtype).to(device).eval()
   processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
   
   messages = build_transcription_messages(audio_path)
   result = generate_transcription(
       model,
       processor,
       messages,
       max_new_tokens=2048,
       do_sample=False,
       device=device,
       dtype=dtype,
   )
   
   print(result["text"])
   
   for segment in parse_transcript(result["text"]):
       print(segment.start, segment.end, segment.speaker, segment.text)

   复制

关键配置

如何确认成功

脚本打印出转写文本，且 parse_transcript 逐段输出 start、end、speaker、text，说明模型加载与说话人分离均成功。

常见问题

注意事项

• 官方另有 MOSS-Transcribe-Diarize Pro，性能更强，可通过在线 playground 使用。
• README 提到项目带有 CLI 和字幕 Web UI（支持中英文），但未给出具体命令，需自行查阅仓库说明。
• 需要微调请参考仓库中的 FINETUNING.md。
• README 明确 CLI 与 Web 应用会自动按 sdpa、flash_attention_2、eager 的顺序挑选最佳后端。