为什么"AI 不引用我的网站"是个含混的问题
网站内容进入 AI 问答结果，至少有三条相互独立的路径：进入模型的训练语料、进入 AI 产品的联网搜索索引、被用户触发的实时抓取。三条路径的周期、入口和可控性完全不同。 不拆开这三层，"AI 不引用我"就无法定位原因，更谈不上修复。
第一层：训练语料
模型在训练阶段批量学习公开网页，内容以月甚至年为周期进入模型。这层决定的是 AI 对你品牌的"记忆"： 不联网时，模型能不能说出你的产品是做什么的。
- 入口：GPTBot、ClaudeBot、CCBot 等训练语料爬虫的长期抓取，以及 Common Crawl 等公开数据集。
- 周期：以月为单位，今天放行的内容不会出现在明天的回答里。
- 站长能做什么：决定是否放行训练爬虫；保持品牌名、产品名、核心事实在全网表述一致（官网、文档、媒体报道措辞统一），减少模型"记错"的概率。
第二层：搜索索引
AI 联网问答时，先从搜索引擎检索候选页面，再把页面内容交给模型组织答案。 这层决定的是 AI 回答相关问题时"能不能检索到你"，是当前引用流量最直接的来源。
- 入口：OAI-SearchBot、PerplexityBot、Bytespider 等搜索爬虫；ChatGPT 联网还依赖 Bing 索引，Copilot 同理。
- 周期：以天到周为单位，比训练层快得多。
- 站长能做什么：放行搜索索引类爬虫；保证页面可被纯 HTML 渲染读懂（关键内容不要只藏在 JS 渲染结果里）；标题与首段直接回答"这个页面是什么"。
第三层：实时抓取
用户把链接发给 AI，或 AI 在回答中决定"去读一下这个页面"时，会触发 ChatGPT-User、Claude-User 这类实时抓取。这层是真实用户的即时需求，请求会直达你的服务器。
- 入口：用户主动分享的链接、AI 代理（Agent）的自主访问。
- 周期：实时。
- 站长能做什么：别屏蔽实时抓取类 UA；保证页面响应速度与稳定性——实时抓取没有重试耐心，超时即放弃。
用三层框架定位问题
"AI 不知道我的品牌"——问题在训练层，查训练爬虫放行与品牌表述一致性； "AI 知道我们，但回答问题时从不引用我们的页面"——问题在搜索层，查 OAI-SearchBot 等是否可达、页面是否可被抓取读懂； "用户把链接发给 AI 却读不了"——问题在实时抓取层，查 UA 拦截与页面响应。
本站的检测口径与这三层对应：robots.txt 解析覆盖各层爬虫的放行状态，UA 模拟访问验证实时可达性， 多平台认知问答实测训练层的"记忆"结果。三层拆开看，修复动作才有针对性。