
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 2904
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 能访问 GitHub 及 README 表格中 Download 列的外链(部分指向 Zenodo)
- 需要足够大的本地磁盘空间,数据集总量达数百 GB,下载前先看表格里的 Raw Size
- 用途需为研究或学术目的,README 声明这些日志免费提供用于研究与学术工作
- 装有可解压/读取大文本文件的工具(README 未指定具体压缩格式,按下载到的文件类型处理)
安装与启动步骤
-
1获取项目仓库
README 未给出安装步骤,此命令仅依据项目给出的 GitHub 地址克隆仓库,用于查看完整数据集清单与说明。
git clone https://github.com/logpai/loghub.git -
2查看可用数据集
在 README 的 Logs currently available 表格中,按 Dataset、Description、Labeled、Time Span、#Lines、Raw Size 等列挑选目标日志。
-
3下载原始日志
点击表格 Download 列的对应超链接下载原始日志,README 说明原始日志通过该列的超链接获取;按 Raw Size 预留磁盘。
-
4保存到本地目录
把下载文件放入自建的数据目录,便于后续按系统类别组织和使用。README 未规定目录结构,可自行规划。
-
5确认用途与引用
README 声明数据可免费用于研究或学术工作,使用时请按其引用信息标注来源。
如何确认成功
下载完成后,核对文件大小与 README 表格中该数据集的 Raw Size 是否大致一致,并能正常打开读取日志内容。
常见问题
Q:这些日志可以免费商用吗?
A:README 明确写明日志免费提供用于研究或学术工作(research or academic work),商用请自行确认授权,文档未做商用许可说明。
Q:日志做了脱敏或匿名化处理吗?
A:README 说明:在条件允许的情况下,日志 NOT sanitized, anonymized or modified in any way,即原则上保留原始内容,使用时需自行评估隐私与合规风险。
Q:怎么下载数据集?
A:README 的 Logs currently available 表格中,Download 列提供每个数据集原始日志的超链接,直接点击对应链接下载即可。
Q:包含哪些类型的系统日志?
A:README 提到日志来自分布式系统、超级计算机、操作系统、移动平台、Web 服务等多个真实系统,部分为既往研究发布的产线数据,部分来自实验室环境真实系统。
注意事项
- README 未提供任何安装命令、包名、端口或路径,本教程中的步骤为通用准备动作,具体以仓库与下载页为准。
- 部分数据集带有 Labeled 标记(结构化标注),做异常检测/日志解析评测时优先选带标注的数据集。
- 原始日志未做脱敏处理,可能含敏感信息,请勿公开传播或用于非授权场景。
- 数据集体量达数百 GB,下载前务必核对表格中的 Raw Size,避免占满磁盘。
核心亮点
- 覆盖数十个真实系统、数百 GB 日志,规模与多样性在同类数据集中领先
- 提供日志模板、异常标签等标注,可直接用于监督/半监督评测
- 有 ISSRE'23 论文背书,被大量日志分析论文引用,基准可比性强
不足之处
- 数据体积大,下载和存储对网络与磁盘要求较高
- 部分数据集标注粒度或格式不统一,使用前需额外清洗对齐
适用场景
- 日志解析算法(如 Drain、Spell)的精度对比实验
- 日志异常检测模型的训练与基准评测
- 工业日志分析原型的冷启动数据来源
替代项目
LogPAI、Loghub 之外的 DeepLog 数据集、AIOps Challenge 数据集
上一篇:datasets
下一篇:attack_data
同类项目推荐
Awesome-Dataset-Distillation
开源
一页看全数据集蒸馏论文,快速入门与追新
A curated list of awesome papers on dataset distillation and related applications.
Cosmos-Drive-Dreams
开源
用世界模型生成海量驾驶视频,低成本覆盖极端场景
Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundatio···
attack_data
开源
一站式获取多种攻击数据集,快速训练安全模型
A repository of curated datasets from various attacks
MathPile
开源
给数学大模型喂高质量语料,提升推理能力。
[NeurlPS D&B 2024] Generative AI for Math: MathPile
paper-list
开源
自动追踪最新论文,省去手动搜索时间
autoupdate paper list
predictive-maintenance
开源
拿来即用的工业设备故障预测数据集,省去到处找数据的麻烦
Datasets for Predictive Maintenance
plinder
开源
统一蛋白质-配体数据与评测,让模型对比更公平
Protein Ligand INteraction Dataset and Evaluation Resource
Awesome-Electrical-Grid-Mapping
开源
一站找齐全球电网地图与数据集,省去到处搜的麻烦
A curated dataset of global electrical grid maps, datasets and resources.
fiftyone
开源
可视化管好数据集,快速揪出模型错误,让视觉AI更可靠
Refine high-quality datasets and visual AI models