llms-txt

给网站加个 llms.txt,让大模型秒懂你的站点

llms-txt 是一个围绕 /llms.txt 文件的开源倡议与工具集,旨在让网站为语言模型提供一份结构化、易读的站点说明。它解决的核心问题是:大模型抓取网页时往往被导航、广告、脚本等噪声干扰,难以快速理解站点内容与边界。项目提出在网站根目录放置 llms.txt,用 Markdown 列出站点简介、核心页面链接与可选资源,让模型以更低成本获得高质量上下文。仓库包含规范说明、示例文件、生成工具与 Jupyter Notebook 演示,帮助站长和开发者快速落地。它不依赖特定模型或框架,属于轻量约定,可与现有 SEO、sitemap 并存,适合内容站、文档站和产品官网主动优化对 AI 的可见性。

开源 free 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2621
维护状态 较活跃
是否开源
定价模式 free

项目数据

分类搜索知识
开发团队AnswerDotAI
所属国家
官网地址http://llmstxt.org
定价模式free
价格说明开源标准,免费使用
访问状态
是否开源
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型
GitHub 星标★ 2621
30天Star增速
HF 下载量
上线时间2024-09-01 00:00:00
最近更新2026-09-18 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 一个可公开发布的网站,能在根目录放置静态文件
  • 能编辑纯文本/Markdown 的编辑器
  • 站点根目录的文件写入或上传权限

安装与启动步骤

  1. 1阅读规范提案

    先通读 llms.txt v2 提案,理解目标是让代理在单一可访问位置获得简洁、专家级的站点信息。

  2. 2整理站点信息

    把站点简介、核心页面链接和可选资源整理成 Markdown,避免把导航、广告、脚本等噪声写进去。

  3. 3放到站点根目录

    将整理好的内容保存为 llms.txt 并放到网站根目录,使代理可通过固定路径直接抓取。

  4. 4用 Lighthouse 检查

    Chrome 的 Lighthouse 已把 llms.txt 纳入 agentic browsing 检查项,可用它确认站点是否被识别。

关键配置

配置项必填说明示例
llms.txt 存放路径必须位于网站根目录,供代理按固定路径访问/llms.txt

如何确认成功

浏览器访问站点根目录的 /llms.txt 能直接看到 Markdown 内容;或用 Chrome Lighthouse 的 agentic browsing 检查确认已识别。

常见问题

Q:需要安装依赖或运行命令吗?

A:不需要。README 中未给出任何安装命令,它是轻量约定,不依赖特定模型或框架,只需在站点根目录放置一个 Markdown 文件。

Q:能和 sitemap、SEO 并存吗?

A:可以。README 将其定位为对现有站点信息的补充,属于轻量约定,可与现有 SEO、sitemap 并存,用于优化站点对 AI 的可见性。

Q:有没有工具能自动生成?

A:有。README 提到文档平台(如 Mintlify)会按该规范自动生成 llms.txt,可直接使用平台生成能力,无需手写。

Q:谁在采用这个规范?

A:README 称已有数千个站点发布 llms.txt,OpenAI 等 AI 实验室也为自家开发者文档发布了 llms.txt 文件。

注意事项

  • 本仓库主体是规范说明、示例文件、生成工具与 Jupyter Notebook 演示,README 节选中没有安装或运行命令,因此本教程只整理了可确认的准备动作。
  • README 未给出具体命令、包名、端口或路径,故步骤中未填写任何命令,请勿自行套用示例命令。
  • llms.txt 的核心理念是替代噪声网页转换:网页面向人类,包含导航、广告、JavaScript,转成干净文本既困难又不精确。
  • 上下文窗口仍然有限,冗余内容会浪费 token 与成本,因此内容应保持简洁、专家级。

核心亮点

  • 用纯 Markdown 约定描述站点,模型无需解析 HTML 噪声即可获得干净上下文
  • 提供规范、示例与 Notebook 工具,站长可低成本生成并验证 llms.txt
  • 与 sitemap、robots.txt 互补,不绑定具体模型或框架,落地门槛低

不足之处

  • 目前仍是社区倡议,主流模型与爬虫是否采纳尚无统一保证
  • 仓库以 Jupyter Notebook 为主,工程化工具链和自动化集成相对薄弱

适用场景

  • 内容/文档站点主动向 AI 提供结构化站点摘要
  • 开发者用 Notebook 批量生成并校验 llms.txt 文件
  • 产品官网优化在 AI 搜索与问答中的内容可见性

替代项目

llms.txt 规范相关实现(如 llmstxt 生成器)、sitemap.xml / robots.txt 生态工具

项目介绍

llms-txt 是搜索知识领域的开源项目,由 AnswerDotAI 开发,2024 年首次发布。

在全站 12,822 个收录项目中,它的 GitHub 星标数(2,621)位列前 30%,在搜索知识分类的 576 个项目里位列前 15%。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-18。开源标准,免费使用。从国内网络环境看,访问稳定性一般,建议自备网络条件。

它主要面向的使用场景是:内容/文档站点主动向AI提供结构化站点摘要。同类可对比的替代方案包括 llms.txt 规范相关实现(如 llmstxt 生成器)、sitemap.xml / robots.txt 生态工具。

上一篇:llms-txt-hub

下一篇:llm-wiki

同类项目推荐

firecrawl 开源

网页抓取像喝水一样简单,开发者省下整周加班

The web data API to search, scrape, and interact at scale.

★ 182210 2026-08-09
contoso-chat 开源

一键跑通 Azure RAG 应用,从代码到评估部署全流程

This sample has the full End2End process of creating RAG application with Prompty an···

★ 766 2026-08-09
graphify 开源

整个代码库画成一张图,找问题一眼定位

Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···

★ 119584 2026-08-09
qiaomu-youtube-ai-podcast 开源

一站式索引AI播客,快速找到有文字稿和总结的节目

AI 播客索引:整理 AI 播客、中文简介、Transcript 状态和总结入口 | Curated AI podcast ···

★ 69 2026-08-09