
Awesome-llms-txt
一站收集全网 llms.txt,做 AI 抓取与语料的种子库
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 112
核心亮点
- 聚焦 llms.txt 这一新兴协议,填补了公开种子数据集的空白
- 以清单形式组织,结构简单,可直接用于爬虫或模型训练实验
- Python 项目便于二次加工,可快速扩展成生成器或校验工具
不足之处
- 星标仅 106,社区规模小,数据更新与维护依赖少数贡献者
- 收录站点数量和覆盖范围有限,作为数据集样本量偏小
适用场景
- 研究 llms.txt 协议、分析网站如何向 AI 声明内容结构
- 为 AI 爬虫或检索系统准备种子 URL 与站点清单
- 开发 llms.txt 生成器或校验工具时用作测试样本
替代项目
llms-txt、Awesome-LLM、awesome-ai-agents
下一篇:synthoseis
同类项目推荐
DataProfiler
开源
快速摸清数据底细,自动识别敏感信息
What's in your data? Extract schema, statistics and entities from datasets
voice-dataset-creation
开源
帮原住民社区自主打造语音数据集,守护语言并喂给AI
Community-controlled voice data collection for language preservation and AI developm···
KG-MM-Survey
开源
一张清单看懂知识图谱+多模态,快速入门不迷路
Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey
spotlight
开源
从 DataFrame 交互式浏览图像音频数据集,快速筛出脏数据。
Interactively explore unstructured datasets from your dataframe.
Awesome-Multi-Token-Prediction
开源
一次预测多个词,让大模型推理更快更省
A curated list of papers, tools, and resources on Multi-Token Prediction (MTP) and r···
apd-core
开源
公开数据集清单的元数据底座,统一收录与贡献
Core meta for awesome-public-datasets. Contribute new data here!
DeepFish
开源
用真实水下鱼群图像,训练你的鱼类检测与分割模型
JCU DeepFish dataset
malecns
开源
用 R 一键读取果蝇雄性连接组数据
Access to the latest 'Janelia FlyEM' datasets
LLM-Synthetic-Data
开源
一页看全 LLM 合成数据论文脉络
A live reading list for LLM data synthesis (Updated to July, 2025).