ai.robots.txt 是一个 #开源 列表，旨在提供一份已知 #AI 代理和爬虫（Crawlers）的 User-Agents 集合，供网站管理员用于阻止这些 AI 机器人爬取网站内容。该项目提供了多种格式的文件，以便在不同服务器上实施阻止，包括：标准 robots.txt`、Apache 的 .htaccess`、#NGINX 的 `nginx-block-ai-bots.conf`、#Caddyfile 以及 HAProxy 的配置片段。

开源 https://github.com/ai-robots-txt/ai.robots.txt

关联阅读 https://blog.cloudflare.com/zh-cn/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/

via: @dejavuBlog @dejavuGroup

GitHub

GitHub - ai-robots-txt/ai.robots.txt: A list of AI agents and robots to block.

A list of AI agents and robots to block. Contribute to ai-robots-txt/ai.robots.txt development by creating an account on GitHub.