ai.robots.txt

一行配置，批量屏蔽 AI 爬虫抓取你的网站

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署自动化工作流 🍴 复刻 197 🐛 待处理 12 👀 关注 56

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4246

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，MIT许可证

项目预览

ai.robots.txt 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类自动化工作流

开发团队ai-robots-txt

官网地址https://github.com/ai-robots-txt/ai.robots.txt/releases.atom

GitHubhttps://github.com/ai-robots-txt/ai.robots.txt

定价模式🏷️完全免费

价格说明开源免费，MIT许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai,ai-blocker,anti-ai,crawlers,crawling,privacy

GitHub 星标★ 4246

上线时间2024-03-27 00:00:00

代码更新2026-11-02

仓库体积846 KB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-12

浏览次数2

项目介绍

ai.robots.txt 是一个面向网站所有者的开源 robots.txt 规则集合，专门用于屏蔽各类 AI 爬虫与自动化代理。项目维护者收集并持续更新主流 AI 公司（如 OpenAI、Anthropic、Google、Common Crawl 等）的爬虫 User-Agent，提供可直接复制到网站根目录 robots.txt 的屏蔽规则，也附带 Nginx、Apache、Cloudflare 等常见服务器的配置示例。它解决的核心问题是：网站内容被大模型训练数据抓取却难以逐一识别和拦截，站长只需一次配置即可批量拒绝 AI 抓取，保护原创内容与隐私数据。项目以 Python 脚本自动同步上游爬虫清单，降低人工维护成本，适合个人博客、内容站、企业官网等希望控制数据被 AI 使用的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 4246

技术标签

ai privacy

使用教程

难度：入门约 10 分钟部署方式：本地安装 7 步

环境要求

一台已运行的网站服务器，可写入站点根目录
支持 Apache httpd / Nginx / Caddy / HAProxy / lighttpd 之一
已安装 git（用于获取仓库文件）

安装与启动步骤

1获取规则文件

克隆仓库，得到 robots.txt 及各服务器屏蔽配置示例文件，后续按需复制。
```
git clone https://github.com/ai-robots-txt/ai.robots.txt
```
2部署 robots.txt

把仓库中的 robots.txt 复制到网站根目录，实现 RFC 9309 的爬虫排除声明。
```
cp ai.robots.txt/robots.txt /your/path/robots.txt
```
3配置 Apache 屏蔽

使用 .htaccess 让列出的 AI 爬虫请求返回错误页；README 提示还有性能更好的方式。
```
cp ai.robots.txt/.htaccess /your/path/.htaccess
```
4配置 Nginx 屏蔽

在虚拟主机 server {} 块中通过 include 指令引入该配置片段。
```
include /your/path/nginx-block-ai-bots.conf;
```
5配置 Caddy 屏蔽

复制或导入 Caddyfile 中的 Header Regex matcher 组，再用 abort 拒绝请求。
```
abort @aibots
```
6配置 HAProxy 屏蔽

把文件放入 HAProxy 配置目录，并在 frontend 段添加 acl 与拒绝规则。
```
acl ai_robot hdr_sub(user-agent) -i -f /etc/haproxy/haproxy-block-ai-bots.txt
http-request deny if ai_robot
```
7配置 lighttpd 屏蔽

在 lighttpd 全局或条件段中用 include 引入该片段文件。
```
include "fragments/lighttpd-block-ai-bots.conf"
```

关键配置

配置项	必填	说明	示例
`robots.txt 存放路径`	是	站点根目录下的 robots.txt 路径，按实际站点替换	`/your/path/robots.txt`
`nginx include 路径`	否	Nginx server 块中 include 的配置片段路径	`include /your/path/nginx-block-ai-bots.conf;`
`haproxy 规则文件路径`	否	HAProxy acl 引用的屏蔽列表文件路径，环境不同可修改	`/etc/haproxy/haproxy-block-ai-bots.txt`
`lighttpd include 路径`	否	lighttpd 配置中引入的片段相对路径	`fragments/lighttpd-block-ai-bots.conf`