你的网站可能正在从 AI 消失：Cloudflare 时代的边缘阻断
robots.txt 写得再好也没用——如果 CDN/WAF 在边缘对 AI 爬虫返回 403，AI 引擎就拿不到你的页面。用双 UA 探测 30 秒自查。
作者：GEO Probe Team••5 分钟
TL;DR：2025-2026 年，Cloudflare 把 AI 爬虫管控做成了默认能力（AI Crawl Control、托管式 Bot 阻断、Content Signals），并从 2026 年 9 月起要求 AI 公司把训练爬虫与搜索爬虫分离、默认转向阻断立场。大量网站在"没有任何人动过配置"的情况下，开始对 AI 爬虫返回 403。这是当前最被低估的 GEO 问题。
为什么 robots.txt 救不了你
robots.txt 是"礼貌协议"——爬虫可以选择遵守。而边缘阻断发生在 HTTP 层：CDN 直接对自称 GPTBot 的请求返回 403，页面根本没出去。反过来说，即使 robots.txt 全部放行，只要 WAF 规则命中了 AI 爬虫的 UA 或 IP 段，AI 引擎依然拿不到内容。两层必须分开检查。
30 秒自查：双 UA 测试
用浏览器正常访问你的网站（应得 200），再用 curl 模拟 AI 爬虫访问同一页面：
curl -A "GPTBot/1.2 (+https://openai.com/gptbot)" -I https://yourdomain.com
浏览器 200 而 GPTBot 得到 401/403/429/451，就是被边缘阻断了。GeoProbe 的诊断已内置这项双 UA 对比检查（ai_bot_access），不通过时报告会给出 Cloudflare AI Crawl Control 与 WAF 白名单的具体操作路径。
怎么修
- •Cloudflare：AI Crawl Control 面板把 GPTBot / ClaudeBot / PerplexityBot 设为 Allow
- •检查 Bot Fight Mode 与托管规则是否误伤搜索类爬虫（OAI-SearchBot、Claude-SearchBot）
- •区分用途再放行：训练类与搜索类是独立开关，决定"被学习"还是"出现在答案里"
- •其他 CDN（Vercel/AWS/Akamai）：找到 Bot Protection 功能，显式白名单 AI 爬虫 UA
本文基于 Cloudflare 官方文档与公开报道整理；各平台策略更新频繁，操作前请以你所用的 CDN 当前文档为准，并用双 UA 测试验证结果。