llms.txt 真相：97% 零抓取，这个标准还该不该做？
Ahrefs 对 13.7 万站点的研究：28% 发布了 llms.txt，但 97% 零爬取。诚实拆解这个标准的真实价值与边界。
作者：GEO Probe Team••5 分钟
TL;DR：llms.txt 值得做（成本近零），但不要指望它直接提升 AI 可见度——Ahrefs 2026 年对 13.7 万个站点的研究显示：约 28% 的站点发布了 llms.txt，其中 97% 在统计期内零请求，从未被任何爬虫抓取。任何把"加个 llms.txt"包装成"GEO 优化核心"的服务，都在夸大。
研究说了什么
- •137K 站点样本，约 28% 已发布 llms.txt（文档类站点比例更高）
- •97% 的文件在统计期内零请求——主流 AI 爬虫基本不主动抓取它
- •有请求的文件中，流量也几乎无法归因到主流 AI 助手
那为什么 GeoProbe 还检查它？
因为成本低、方向正确，而且规范在演进（llmstxt.org 2026 年 8 月更新 v2，新增页面 .md 变体与链接发现机制）。Anthropic、OpenAI 等厂商为自己的开发者文档发布了 llms.txt，Chrome Lighthouse 也在代理浏览审计中检查该文件。它是"低权重卫生项"——所以 GeoProbe 的方法论 v2.1 把它的分值从 4 分降到 2 分，并在报告里如实标注其局限。
同样的时间该优先做什么
- •确认 Bing 收录（87% 的 ChatGPT 引用与 Bing 重合）——影响直接且可验证
- •确认边缘没有阻断 AI 爬虫（双 UA 测试）——不做这一步，其他全白搭
- •内容层：引用来源、统计数字、直接引语——KDD 2024 论文验证过的三大可引用性信号
- •schema 结构化数据——机器可读的主体与问答信息
数据来源：Ahrefs llms.txt 抓取研究（2026）、llmstxt.org v2 规范。工具厂商的研究可能存在立场，建议结合自己站点的实测数据交叉判断。