开发者在16GB内存单板机上成功运行7440亿参数GLM-5.3大模型

2026年11月10日，一项突破常规认知的技术尝试引发关注：能否在资源极为有限的嵌入式设备上运行参数规模达7440亿的顶尖人工智能大模型？

开发者吉姆·布鲁格斯近日完成了一次极具探索意义的实验——他成功在一款仅配备16GB内存的单板计算机上，部署并运行了体量高达419GB的GLM-5.3大语言模型。

该硬件平台名为Arduino Ventuno Q，虽沿用Arduino命名体系，实则搭载高通Dragonwing IQ8处理器，具备八核CPU架构，配备16GB LPDDR5内存及1TB NVMe固态硬盘。

面对模型参数总量远超物理内存容量的难题，关键技术支撑来自GLM-5.3所采用的混合专家（MoE）架构。该架构通过动态路由机制，在每次推理过程中仅激活少量专家子网络，从而规避对全部7440亿参数的实时加载需求。

配合开源推理框架Colibri，系统进一步实现了权重的按需加载策略：非活跃参数暂存于高速固态硬盘中，在推理过程中依据调度指令实时调入内存，形成高效的权重置换机制。

实际测试表明，尽管模型确已运行，但响应效率极为有限。在“请列举三个行星”这一基础指令下，设备耗时约七分钟才输出“地球、火星、金星”三个词。性能监控数据显示，其文本生成速率为每秒0.03个Token。据此推算，生成一段百字内容所需时间接近一小时。

硬件层面，高通芯片集成的Hexagon NPU理论算力达40 TOPS，但受限于当前软件生态支持程度，本次实验全程依赖CPU进行计算。即便应用了量化压缩技术以降低精度开销，固态硬盘的读写带宽仍成为制约整体推理速度的核心瓶颈。

本质上，此次实践更接近一次面向边缘计算边界的原理性验证，旨在证实：借助存储层协同调度机制，超大规模模型可在极简硬件平台上实现基础运行。相较而言，参数量仅为0.77B的小型模型尚能维持可用响应水平；而对744B级模型而言，现有单板设备的综合能力仍远未达到实用化标准。