Awesome-llms-txt

一站收集全网 llms.txt,做 AI 抓取与语料的种子库

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 301 🐛 待处理 230 👀 关注 1
GitHub ↗
GitHub 星标 ★ 112
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,无付费计划

项目预览

Awesome-llms-txt 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队SecretiveShell
定价模式🏷️完全免费
价格说明开源免费,无付费计划
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 112
上线时间2025-02-05 00:00:00
代码更新2026-10-18
仓库体积679 KB
本站数据更新2026-11-21
维护状态维护中
收录时间2026-10-06
浏览次数2

项目介绍

Awesome-llms-txt 是一个收集并索引互联网上各类 llms.txt 文件的开源数据集项目。llms.txt 是一种新兴的网站根目录约定文件,用于向大语言模型和 AI 爬虫声明网站内容结构、可抓取范围与关键资源链接,帮助模型更准确高效地理解站点。本项目把分散在各站点的 llms.txt 汇总成索引,作为种子数据供开发者训练、测试或构建 AI 抓取与检索工具。核心能力包括:按站点整理 llms.txt 链接、提供可复用的结构化清单、方便快速拉取样本做语料实验。项目用 Python 组织数据,体量轻,适合作为研究 AI 网站协议、构建 llms.txt 生成器或爬虫的起点。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 112

核心亮点

  • 聚焦 llms.txt 这一新兴协议,填补了公开种子数据集的空白
  • 以清单形式组织,结构简单,可直接用于爬虫或模型训练实验
  • Python 项目便于二次加工,可快速扩展成生成器或校验工具

不足之处

  • 星标仅 106,社区规模小,数据更新与维护依赖少数贡献者
  • 收录站点数量和覆盖范围有限,作为数据集样本量偏小

适用场景

  • 研究 llms.txt 协议、分析网站如何向 AI 声明内容结构
  • 为 AI 爬虫或检索系统准备种子 URL 与站点清单
  • 开发 llms.txt 生成器或校验工具时用作测试样本

替代项目

llms-txt、Awesome-LLM、awesome-ai-agents

上一篇:IKEA3DAssemblyDataset

下一篇:synthoseis

同类项目推荐

DataProfiler 开源

快速摸清数据底细,自动识别敏感信息

What's in your data? Extract schema, statistics and entities from datasets

★ 1600 2026-08-10
voice-dataset-creation 开源

帮原住民社区自主打造语音数据集,守护语言并喂给AI

Community-controlled voice data collection for language preservation and AI developm···

★ 73 2026-08-09
KG-MM-Survey 开源

一张清单看懂知识图谱+多模态,快速入门不迷路

Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey

★ 510 2026-08-09
spotlight 开源

从 DataFrame 交互式浏览图像音频数据集,快速筛出脏数据。

Interactively explore unstructured datasets from your dataframe.

★ 1288 2026-09-17
Awesome-Multi-Token-Prediction 开源

一次预测多个词,让大模型推理更快更省

A curated list of papers, tools, and resources on Multi-Token Prediction (MTP) and r···

★ 216 2026-09-15
apd-core 开源

公开数据集清单的元数据底座,统一收录与贡献

Core meta for awesome-public-datasets. Contribute new data here!

★ 419 2026-11-02
DeepFish 开源

用真实水下鱼群图像,训练你的鱼类检测与分割模型

JCU DeepFish dataset

★ 140 2026-10-04
malecns 开源

用 R 一键读取果蝇雄性连接组数据

Access to the latest 'Janelia FlyEM' datasets

★ 784 2026-09-21
LLM-Synthetic-Data 开源

一页看全 LLM 合成数据论文脉络

A live reading list for LLM data synthesis (Updated to July, 2025).

★ 494 2026-10-29