● BOTRULES-020 · AI ROBOTS.TXT
别再手抄 GPTBot 了。勾选 AI 爬虫，一键出 robots.txt。
想放行 / 拦 GPTBot、ClaudeBot、Google-Extended 等，UA 记不住、怕写错。本页：勾选常见 AI 爬虫 → 预览并下载 robots.txt。全程本机。
01
AI 爬虫
每行 Allow / Disallow / 忽略。忽略则不写该 UA。Google-Extended / Applebot-Extended 不挡 Googlebot / Applebot 搜索。「全拦 AI」只对表内 token 各写一块 Disallow: /，不会生成通配代理。
02
预览 robots.txt
Allow 写成 Allow: / · Disallow 写成 Disallow: /（禁止空的 Disallow:，空等于放行）。块顺序跟表，块间空行。
03
粘贴合并
仅「单个已知 UA + 整站 Allow: / 或 Disallow: /」写入勾选（UA 大小写不敏感）。通配代理、Sitemap / Host / Crawl-delay、多 UA 共用块、带路径规则 → 原样进「自定义保留」。已知 UA 从 extras 剥掉；勾选覆盖同名块。
自定义保留
拼在 AI 块后面。输出时会剥掉表内 UA，同一 UA 不会出现两次。预设不碰这框。