微软发布三款顶级AI模型碾压GPT-4

微软公司近日发布了 Phi-3.5 系列 AI 模型，其中最引人注目的是推出了首个混合专家模型（MoE）版本 Phi-3.5-MoE。该系列还包含 Phi-3.5-vision 和 Phi-3.5-mini 两款轻量级 AI 模型。

首先，我们来看 Phi-3.5-MoE 这个混合专家模型。它使用了16个3.8亿参数的专家和2个专门激活了66亿个参数的组件，并且使用了512个H100进行训练。微软研究团队从零开始设计这个模型以进一步提高其性能。在标准人工智能基准测试中，它的性能超过了Llama-3.1 8B、Gemma-2-9B和Gemini-1.5-Flash，甚至接近目前领先者 GPT-4omini。

其次，我们来看 Phi-3.5-vision 这个增强型多帧图像理解模型。它拥有42亿参数，在256个A100 GPU上进行了500B标记下的训练，并且现在支持多帧图像理解和推理。与之前发布的MMBench相比，它在文档理解基准TextVQA上的性能提高了70.9%。

最后，我们来看 Phi-3.5-mini 这个轻量级、强功能模型。它拥有38亿参数，超过了Llama3.1 8B和Mistral 7B，甚至可以媲美 Mistral NeMo 12B。这个模型仅使用了512个H100进行训练，并且在多语言任务中具有很强的竞争力。

此外，值得一提的是， Phi -3 . 5 -mini 现在支持128K上下文窗口，而其主要竞争对手 Gemma -2 系列仅支持8K。

总结起来，在本次发布的产品中，微软展示出了其强大的AI技术实力，并且这些产品将有望应用于多个领域。