loghub

真实系统日志数据集,直接下载做异常检测与解析

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 801 🐛 待处理 2 👀 关注 60
GitHub ↗
GitHub 星标 ★ 2904
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源数据集,免费使用

项目预览

loghub 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队logpai
定价模式🏷️完全免费
价格说明开源数据集,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
技术栈/模型anomaly-detection,datasets,log-analysis,log-intelligence,log-parsing,logs,unstructured-logs
GitHub 星标★ 2904
上线时间2016-06-08 00:00:00
代码更新2026-11-04
仓库体积7.0 MB
本站数据更新2026-11-05
维护状态活跃
收录时间2026-09-21
浏览次数1

项目介绍

Loghub 是一个面向 AI 日志分析研究的大型系统日志数据集集合,由香港中文大学等团队维护,论文发表于 ISSRE'23。它解决的核心问题是:日志分析领域长期缺乏统一、真实、带标注的公开数据,导致日志解析、异常检测、故障诊断等算法难以公平对比和复现。项目汇集了来自分布式系统、超级计算机、操作系统、移动平台、Web 服务等数十个真实系统的日志,总量达数百 GB,并提供结构化标注(如日志模板、异常标签、故障根因),覆盖日志解析、异常检测、日志压缩、故障定位等任务。所有数据按系统分类,配有说明文档、格式规范和引用信息,可直接下载用于训练与评测。它已成为日志智能领域事实上的基准数据源,被大量学术论文和工业原型采用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 2904

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 15 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 能访问 GitHub 及 README 表格中 Download 列的外链(部分指向 Zenodo)
  • 需要足够大的本地磁盘空间,数据集总量达数百 GB,下载前先看表格里的 Raw Size
  • 用途需为研究或学术目的,README 声明这些日志免费提供用于研究与学术工作
  • 装有可解压/读取大文本文件的工具(README 未指定具体压缩格式,按下载到的文件类型处理)

安装与启动步骤

  1. 1获取项目仓库

    README 未给出安装步骤,此命令仅依据项目给出的 GitHub 地址克隆仓库,用于查看完整数据集清单与说明。

    git clone https://github.com/logpai/loghub.git
  2. 2查看可用数据集

    在 README 的 Logs currently available 表格中,按 Dataset、Description、Labeled、Time Span、#Lines、Raw Size 等列挑选目标日志。

  3. 3下载原始日志

    点击表格 Download 列的对应超链接下载原始日志,README 说明原始日志通过该列的超链接获取;按 Raw Size 预留磁盘。

  4. 4保存到本地目录

    把下载文件放入自建的数据目录,便于后续按系统类别组织和使用。README 未规定目录结构,可自行规划。

  5. 5确认用途与引用

    README 声明数据可免费用于研究或学术工作,使用时请按其引用信息标注来源。

如何确认成功

下载完成后,核对文件大小与 README 表格中该数据集的 Raw Size 是否大致一致,并能正常打开读取日志内容。

常见问题

Q:这些日志可以免费商用吗?

A:README 明确写明日志免费提供用于研究或学术工作(research or academic work),商用请自行确认授权,文档未做商用许可说明。

Q:日志做了脱敏或匿名化处理吗?

A:README 说明:在条件允许的情况下,日志 NOT sanitized, anonymized or modified in any way,即原则上保留原始内容,使用时需自行评估隐私与合规风险。

Q:怎么下载数据集?

A:README 的 Logs currently available 表格中,Download 列提供每个数据集原始日志的超链接,直接点击对应链接下载即可。

Q:包含哪些类型的系统日志?

A:README 提到日志来自分布式系统、超级计算机、操作系统、移动平台、Web 服务等多个真实系统,部分为既往研究发布的产线数据,部分来自实验室环境真实系统。

注意事项

  • README 未提供任何安装命令、包名、端口或路径,本教程中的步骤为通用准备动作,具体以仓库与下载页为准。
  • 部分数据集带有 Labeled 标记(结构化标注),做异常检测/日志解析评测时优先选带标注的数据集。
  • 原始日志未做脱敏处理,可能含敏感信息,请勿公开传播或用于非授权场景。
  • 数据集体量达数百 GB,下载前务必核对表格中的 Raw Size,避免占满磁盘。

核心亮点

  • 覆盖数十个真实系统、数百 GB 日志,规模与多样性在同类数据集中领先
  • 提供日志模板、异常标签等标注,可直接用于监督/半监督评测
  • 有 ISSRE'23 论文背书,被大量日志分析论文引用,基准可比性强

不足之处

  • 数据体积大,下载和存储对网络与磁盘要求较高
  • 部分数据集标注粒度或格式不统一,使用前需额外清洗对齐

适用场景

  • 日志解析算法(如 Drain、Spell)的精度对比实验
  • 日志异常检测模型的训练与基准评测
  • 工业日志分析原型的冷启动数据来源

替代项目

LogPAI、Loghub 之外的 DeepLog 数据集、AIOps Challenge 数据集

上一篇:datasets

下一篇:attack_data

同类项目推荐

Awesome-Dataset-Distillation 开源

一页看全数据集蒸馏论文,快速入门与追新

A curated list of awesome papers on dataset distillation and related applications.

★ 1981 2026-09-21
Cosmos-Drive-Dreams 开源

用世界模型生成海量驾驶视频,低成本覆盖极端场景

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundatio···

★ 555 2026-08-09
attack_data 开源

一站式获取多种攻击数据集,快速训练安全模型

A repository of curated datasets from various attacks

★ 840 2026-09-21
MathPile 开源

给数学大模型喂高质量语料,提升推理能力。

[NeurlPS D&B 2024] Generative AI for Math: MathPile

★ 420 2026-08-09
paper-list 开源

自动追踪最新论文,省去手动搜索时间

autoupdate paper list

★ 169 2026-08-09
predictive-maintenance 开源

拿来即用的工业设备故障预测数据集,省去到处找数据的麻烦

Datasets for Predictive Maintenance

★ 176 2026-09-21
plinder 开源

统一蛋白质-配体数据与评测,让模型对比更公平

Protein Ligand INteraction Dataset and Evaluation Resource

★ 315 2026-09-21
Awesome-Electrical-Grid-Mapping 开源

一站找齐全球电网地图与数据集,省去到处搜的麻烦

A curated dataset of global electrical grid maps, datasets and resources.

★ 169 2026-09-21
fiftyone 开源

可视化管好数据集,快速揪出模型错误,让视觉AI更可靠

Refine high-quality datasets and visual AI models

★ 11273 2026-08-10