loghub

真实系统日志数据集，直接下载做异常检测与解析

Loghub 是一个面向 AI 日志分析研究的大型系统日志数据集集合，由香港中文大学等团队维护，论文发表于 ISSRE'23。它解决的核心问题是：日志分析领域长期缺乏统一、真实、带标注的公开数据，导致日志解析、异常检测、故障诊断等算法难以公平对比和复现。项目汇集了来自分布式系统、超级计算机、操作系统、移动平台、Web 服务等数十个真实系统的日志，总量达数百 GB，并提供结构化标注（如日志模板、异常标签、故障根因），覆盖日志解析、异常检测、日志压缩、故障定位等任务。所有数据按系统分类，配有说明文档、格式规范和引用信息，可直接下载用于训练与评测。它已成为日志智能领域事实上的基准数据源，被大量学术论文和工业原型采用。

开源 free 数据集

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2847

维护状态活跃

是否开源是

定价模式 free

项目数据

分类数据集

开发团队logpai

所属国家

官网地址

GitHubhttps://github.com/logpai/loghub

定价模式free

价格说明开源数据集，免费使用

访问状态

是否开源是

开源协议NOASSERTION

主要语言

技术栈/模型anomaly-detection,datasets,log-analysis,log-intelligence,log-parsing,logs,unstructured-logs

GitHub 星标★ 2847

30天Star增速

HF 下载量

上线时间2016-06-08 00:00:00

最近更新2026-09-18 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-21

浏览次数0

使用教程

难度：入门约 15 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

能访问 GitHub 及 README 表格中 Download 列的外链（部分指向 Zenodo）
需要足够大的本地磁盘空间，数据集总量达数百 GB，下载前先看表格里的 Raw Size
用途需为研究或学术目的，README 声明这些日志免费提供用于研究与学术工作
装有可解压/读取大文本文件的工具（README 未指定具体压缩格式，按下载到的文件类型处理）

安装与启动步骤

1获取项目仓库

README 未给出安装步骤，此命令仅依据项目给出的 GitHub 地址克隆仓库，用于查看完整数据集清单与说明。
```
git clone https://github.com/logpai/loghub.git
```
2查看可用数据集

在 README 的 Logs currently available 表格中，按 Dataset、Description、Labeled、Time Span、#Lines、Raw Size 等列挑选目标日志。
3下载原始日志

点击表格 Download 列的对应超链接下载原始日志，README 说明原始日志通过该列的超链接获取；按 Raw Size 预留磁盘。
4保存到本地目录

把下载文件放入自建的数据目录，便于后续按系统类别组织和使用。README 未规定目录结构，可自行规划。
5确认用途与引用

README 声明数据可免费用于研究或学术工作，使用时请按其引用信息标注来源。

如何确认成功

下载完成后，核对文件大小与 README 表格中该数据集的 Raw Size 是否大致一致，并能正常打开读取日志内容。

常见问题

Q：这些日志可以免费商用吗？

A：README 明确写明日志免费提供用于研究或学术工作（research or academic work），商用请自行确认授权，文档未做商用许可说明。

Q：日志做了脱敏或匿名化处理吗？

A：README 说明：在条件允许的情况下，日志 NOT sanitized, anonymized or modified in any way，即原则上保留原始内容，使用时需自行评估隐私与合规风险。

Q：怎么下载数据集？

A：README 的 Logs currently available 表格中，Download 列提供每个数据集原始日志的超链接，直接点击对应链接下载即可。

Q：包含哪些类型的系统日志？

A：README 提到日志来自分布式系统、超级计算机、操作系统、移动平台、Web 服务等多个真实系统，部分为既往研究发布的产线数据，部分来自实验室环境真实系统。

注意事项

README 未提供任何安装命令、包名、端口或路径，本教程中的步骤为通用准备动作，具体以仓库与下载页为准。
部分数据集带有 Labeled 标记（结构化标注），做异常检测/日志解析评测时优先选带标注的数据集。
原始日志未做脱敏处理，可能含敏感信息，请勿公开传播或用于非授权场景。
数据集体量达数百 GB，下载前务必核对表格中的 Raw Size，避免占满磁盘。

核心亮点

覆盖数十个真实系统、数百 GB 日志，规模与多样性在同类数据集中领先
提供日志模板、异常标签等标注，可直接用于监督/半监督评测
有 ISSRE'23 论文背书，被大量日志分析论文引用，基准可比性强

不足之处

数据体积大，下载和存储对网络与磁盘要求较高
部分数据集标注粒度或格式不统一，使用前需额外清洗对齐

适用场景

日志解析算法（如 Drain、Spell）的精度对比实验
日志异常检测模型的训练与基准评测
工业日志分析原型的冷启动数据来源

替代项目

LogPAI、Loghub 之外的 DeepLog 数据集、AIOps Challenge 数据集

项目介绍

loghub 是数据集领域的开源项目，由 logpai 开发，2016 年首次发布。

在全站 12,822 个收录项目中，它的 GitHub 星标数（2,847）位列前 30%，在数据集分类的 278 个项目里位列前 13%。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-18。开源数据集，免费使用。

它主要面向的使用场景是：日志解析算法（如Drain、Spell）的精度对比实验。同类可对比的替代方案包括 LogPAI、Loghub 之外的 DeepLog 数据集、AIOps Challenge 数据集。

上一篇：datasets

下一篇：attack_data