苹果发布300亿参数多模态AI大模型MM1.5

近日，苹果公司发布了300亿参数的多模态AI大模型MM1.5。这款模型是在前代MM1的基础上开发而成的，并遵循数据驱动的训练原则。MM1.5提供了多种参数规模，包括图像识别和自然语言推理能力。

苹果公司的研发人员改进了数据混合策略，显著增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。此外，在持续预训练阶段，团队引入高质量OCR数据和合成图像描述，提高了对包含大量文本的图像的理解水平。

研究人员还深入分析了不同数据类型对模型表现的作用，并优化视觉指令微调数据的混合方式，使得即使是小规模的模型也能有出色的表现。值得一提的是，苹果公司还推出了专门用于视频理解的MM1.5-Video模型和处理移动设备用户界面（UI）理解的MM1.5-UI模型。

尽管MM1.5在多项基准测试中表现出色，但苹果团队仍计划进一步融合文本、图像和用户交互数据，并设计更复杂的架构来提高对移动设备UI的理解能力，从而让“苹果牌”AI更加强大。