月之暗面开源2.8万亿参数Kimi K3大模型及三大核心基础设施

月之暗面正式对外开源Kimi K3模型，同步发布其完整模型权重、技术白皮书，以及支撑该模型训练与部署的三项核心基础设施技术：MoonEP、FlashKDA和AgentEnv。

Kimi K3采用KDA混合线性注意力机制与注意力残差结构设计，原生支持多模态视觉理解能力。作为当前开源领域参数量最大的语言模型，其总参数规模达2.8万亿，在过去一年中持续保持开源模型规模的最高纪录。

该模型基于Stable LatentMoE稀疏专家架构，在总计896个专家中每次仅激活16个，配合深度优化的训练策略，整体扩展效率相较上一代提升约2.5倍。

本次同步开源的三项基础设施技术，覆盖高性能分布式通信、高效自定义算子实现及分布式强化学习训练环境等关键环节。其中FlashKDA此前已开放使用，MoonEP与AgentEnv为首次公开。