lhotse

统一音频数据清单,少写加载代码,直接开训语音模型

开源 free 数据集
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1159
维护状态 较活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类数据集
开发团队lhotse-speech
所属国家
官网地址
定价模式free
价格说明开源免费(Apache-2.0)
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,audio,data,deep-learning,kaldi,machine-learning,python,pytorch,speech,speech-recognition
GitHub 星标★ 1159
30天Star增速
HF 下载量
上线时间2020-04-24 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-18
浏览次数0

项目介绍

Lhotse 是面向语音与多模态机器学习的 Python 数据工具库,重点解决训练数据准备和加载环节的工程复杂度。它把音频、文本、特征等异构数据统一抽象成可序列化的清单(manifest)格式,支持切分、重采样、特征提取、数据增强和动态 batching,并能直接对接 PyTorch 的 Dataset/DataLoader。项目源自 Kaldi 生态,兼容 Kaldi 风格的数据目录,同时提供与 icefall、k2 等现代语音识别工具链的集成,适合构建 ASR、说话人识别、语音翻译等任务的训练流水线。核心能力包括:声明式数据清单与懒加载、按时间戳精确切音频片段、多通道/多采样率处理、on-the-fly 特征计算与增强、cut 级别的数据混合与拼接,以及可复现的数据划分。相比手写 Dataset,它减少了大量重复的数据清洗与对齐代码,让研究者把精力放在模型和实验上。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • Python 3.10 及以上(README 明确要求)
  • pip(用于安装依赖和开发依赖)
  • git(需克隆 GitHub 仓库)
  • 可访问 GitHub 的网络环境

安装与启动步骤

  1. 1确认 Python 版本

    Lhotse 只支持 Python 3.10 及以后版本,先确认本机版本满足要求,否则后面安装会失败。

    python --version
  2. 2克隆仓库

    从 GitHub 拉取 lhotse 源码到本地当前目录,后续所有命令都要在 lhotse 目录内执行。

    git clone https://github.com/lhotse-speech/lhotse
  3. 3安装开发依赖

    进入目录并做可编辑安装,[dev] 会额外装上跑测试、构建文档和启动 notebook 所需的依赖。

    cd lhotse
    pip install -e '.[dev]'
  4. 4安装 pre-commit 钩子

    安装代码风格检查钩子,提交代码时会自动触发检查;不提交代码也可跳过。

    pre-commit install
  5. 5运行单元测试

    执行项目自带的测试集,确认安装是否完整、代码能否正常工作。

    pytest test
  6. 6运行代码检查

    执行 pre-commit 的 lint 检查,确认本地开发环境配置齐全。

    pre-commit run

如何确认成功

在 lhotse 目录下执行 pytest test,若测试正常收集并运行且无导入错误,说明安装成功。

常见问题

Q:修改源码后需要重新安装吗?

A:不需要。安装时用了 -e 可编辑模式,改动源码后直接 import lhotse 即生效,无需重装。

Q:可以用 Python 3.9 吗?

A:不可以。README 明确说明仅支持 Python 3.10 及以上版本,低版本可能安装或导入失败。

Q:pip install -e '.[dev]' 报错找不到依赖怎么办?

A:先确认 Python 版本 ≥3.10,再确认网络能访问 PyPI,必要时重新执行同一条安装命令补全依赖。

Q:只有开发安装方式吗?

A:README 的 Installation 章节只给出了基于 GitHub 源码的开发安装流程,未提供其它安装方式。

注意事项

  • README 未给出端口、模型权重或云服务配置,本项目按 Python 库使用,不是独立服务。
  • 建议在独立虚拟环境中执行安装,避免污染全局 Python 环境。
  • Windows PowerShell 下安装命令中的单引号写法可能不适用,可改用双引号包裹 extras。

核心亮点

  • manifest 清单机制把音频路径、时长、文本、特征统一管理,支持懒加载和精确时间戳切分,避免重复预处理
  • 与 PyTorch DataLoader 和 k2/icefall 生态深度集成,动态 batching、cut 拼接和 on-the-fly 增强开箱即用
  • 兼容 Kaldi 风格数据目录,迁移已有语音数据集成本低,且支持多采样率、多通道音频处理

不足之处

  • 学习曲线偏陡,manifest、Cut、Recording 等概念较多,新手需要先理解数据抽象模型
  • 文档以 API 和示例为主,缺少系统性的端到端教程,部分高级用法需读源码或社区讨论

适用场景

  • 构建 ASR 训练流水线时统一管理多来源语音数据集并做动态 batching
  • 语音数据增强与特征提取实验,需要 on-the-fly 计算避免磁盘膨胀
  • 将 Kaldi 格式数据迁移到 PyTorch 训练框架并保持可复现的数据划分

替代项目

torchaudio、datasets、webdataset

上一篇:awesome-healthcare-datasets

下一篇:semhash

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10721 2026-08-10
aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1652 2026-09-20
DataGen 开源

用大模型一键生成定制化训练数据,告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09
distilabel 开源

基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3422 2026-08-10