awesome-public-streaming-datasets

找实时数据源不再靠搜,一页清单直接接入流处理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 42 👀 关注 8
GitHub ↗
GitHub 星标 ★ 465
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 免费开源数据集列表

项目预览

awesome-public-streaming-datasets 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队ColinEberhardt
定价模式🏷️完全免费
价格说明免费开源数据集列表
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
GitHub 星标★ 465
上线时间2018-12-07 00:00:00
代码更新2026-11-18
仓库体积37 KB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-10-04
浏览次数3

项目介绍

awesome-public-streaming-datasets 是一个精选清单型开源项目,专门收集和整理提供流式数据(streaming data)的免费公开数据集。它解决的核心问题是:做实时计算、流处理、事件驱动系统或在线机器学习时,开发者常常找不到稳定、可公开访问的实时数据源,只能自己造模拟数据,导致测试和演示脱离真实场景。该项目把分散在互联网上的公开流式数据源汇总到一处,覆盖金融行情、社交媒体、物联网传感器、天气、交通、日志等多种领域,并给出每个数据源的访问方式、协议、是否免费等关键信息。核心能力是索引与分类,帮助开发者快速定位适合自己技术栈(如 Kafka、Flink、Spark Streaming)的数据源,从而加速原型验证、教学演示和基准测试。项目本身不托管数据,只做导航,因此轻量、易维护,适合作为流处理学习与选型的入口。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 465

使用教程

难度:入门 约 10 分钟 部署方式:无需部署 3 步

环境要求

  • 无需环境

安装与启动步骤

  1. 1确认它是清单

    流式公开数据集索引,没有代码。

  2. 2按协议筛

    大多通过长连接推送,注意协议差异。

  3. 3核实还在不在推

    流式数据源停更很常见,先探活。

如何确认成功

能挑出两个仍在持续推送的流式数据源,并各自确认接入协议与更新频率

注意事项

  • 它是提供流式接口的公开数据源清单,是另一个知名数据集清单的补充。
  • 流式数据源消亡率高于静态数据集,用前必须探活。
  • 频率与配额各源不同,接入前读清楚限制。

核心亮点

  • 按领域分类整理,金融、社交、IoT、天气等一目了然
  • 每个数据源标注访问方式与是否免费,选型成本低
  • 纯清单项目,无依赖、无部署,克隆即可查阅

不足之处

  • 仅做链接汇总,不提供数据可用性监控或失效标注
  • 项目更新依赖社区提交,部分链接可能随时间失效

适用场景

  • 搭建 Flink/Kafka 实时管道时寻找真实测试数据源
  • 高校流处理课程中为学生提供可公开访问的演示数据
  • 做实时监控或异常检测原型时快速接入外部事件流

替代项目

awesome-streaming、public-apis

同类项目推荐

jsut-lab 开源

给日语语音合成数据集补上精细标签,直接用于 TTS 训练

HTS-style full-context labels for JSUT v1.1

★ 51 2026-08-09
mirdata 开源

统一加载校验MIR数据集,省去重复解析代码

Python library for working with Music Information Retrieval datasets

★ 420 2026-10-22
MuTual 开源

用真实听力题考倒聊天机器人,测出多轮对话推理真功夫

A Dataset for Multi-Turn Dialogue Reasoning

★ 334 2026-08-09
mtg-jamendo-dataset 开源

拿来即用的音乐打标签数据集与基线

Metadata, scripts and baselines for the MTG-Jamendo dataset

★ 417 2026-10-19
GTSinger 开源

一个数据集搞定多种歌唱技巧与语言,让歌声合成更真实可控

Dataset and code of GTSinger(NeurIPS 2024 Spotlight): A Global Multi-Technique Singi···

★ 539 2026-09-03
solt 开源

轻量流式数据变换,让图像增强更高效

Streaming over lightweight data transformations

★ 269 2026-08-12
EditWorld 开源

让AI理解世界动态,按指令精准编辑图像

[ACM Multimedia 2025 Datasets Track] EditWorld: Simulating World Dynamics for Instru···

★ 140 2026-08-09
open-speech-corpora 开源

找语音数据集?一个清单搞定ASR/TTS等语料库导航

A list of accessible speech corpora for ASR, TTS, and other Speech Technologies

★ 1409 2026-08-09
greenmask 开源

一条命令把生产库脱敏成安全测试数据

Database anonymization and test data management

★ 1809 2026-08-10