
awesome-public-streaming-datasets
找实时数据源不再靠搜,一页清单直接接入流处理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 465
使用教程
环境要求
- 无需环境
安装与启动步骤
-
1确认它是清单
流式公开数据集索引,没有代码。
-
2按协议筛
大多通过长连接推送,注意协议差异。
-
3核实还在不在推
流式数据源停更很常见,先探活。
如何确认成功
能挑出两个仍在持续推送的流式数据源,并各自确认接入协议与更新频率
注意事项
- 它是提供流式接口的公开数据源清单,是另一个知名数据集清单的补充。
- 流式数据源消亡率高于静态数据集,用前必须探活。
- 频率与配额各源不同,接入前读清楚限制。
核心亮点
- 按领域分类整理,金融、社交、IoT、天气等一目了然
- 每个数据源标注访问方式与是否免费,选型成本低
- 纯清单项目,无依赖、无部署,克隆即可查阅
不足之处
- 仅做链接汇总,不提供数据可用性监控或失效标注
- 项目更新依赖社区提交,部分链接可能随时间失效
适用场景
- 搭建 Flink/Kafka 实时管道时寻找真实测试数据源
- 高校流处理课程中为学生提供可公开访问的演示数据
- 做实时监控或异常检测原型时快速接入外部事件流
替代项目
awesome-streaming、public-apis
同类项目推荐
jsut-lab
开源
给日语语音合成数据集补上精细标签,直接用于 TTS 训练
HTS-style full-context labels for JSUT v1.1
mirdata
开源
统一加载校验MIR数据集,省去重复解析代码
Python library for working with Music Information Retrieval datasets
MuTual
开源
用真实听力题考倒聊天机器人,测出多轮对话推理真功夫
A Dataset for Multi-Turn Dialogue Reasoning
mtg-jamendo-dataset
开源
拿来即用的音乐打标签数据集与基线
Metadata, scripts and baselines for the MTG-Jamendo dataset
GTSinger
开源
一个数据集搞定多种歌唱技巧与语言,让歌声合成更真实可控
Dataset and code of GTSinger(NeurIPS 2024 Spotlight): A Global Multi-Technique Singi···
solt
开源
轻量流式数据变换,让图像增强更高效
Streaming over lightweight data transformations
EditWorld
开源
让AI理解世界动态,按指令精准编辑图像
[ACM Multimedia 2025 Datasets Track] EditWorld: Simulating World Dynamics for Instru···
open-speech-corpora
开源
找语音数据集?一个清单搞定ASR/TTS等语料库导航
A list of accessible speech corpora for ASR, TTS, and other Speech Technologies
greenmask
开源
一条命令把生产库脱敏成安全测试数据
Database anonymization and test data management