英伟达nGPT技术架构为AI训练带来突破

英伟达推出新技术架构nGPT，为训练AI模型带来重大突破。nGPT采用了"超球面学习"概念，将嵌入、注意力矩阵和隐藏状态等关键组件映射到超球面表面，以确保模型各层在训练过程中保持平衡。这种几何结构有助于创造更稳定高效的学习过程，并减少了训练步骤和简化了过程。测试结果显示，对于长达4000个tokens的文本输入，nGPT所需训练轮次远少于传统模型，显著缩短了训练时间。此外，nGPT还具有将归一化和表示学习结合成一个统一框架的优势，便于扩展和适应更复杂的混合系统。未来，nGPT的方法可能被整合进其他类型的模型和架构，从而开发出更强大的AI系统。