苹果推出 300 亿参数多模态 AI 大模型 MM1.5，可识别 UI 界面推理自然语言

10月13日，苹果公司推出了基于MM1架构的多模态大模型MM1.5版本。该模型在不同训练周期中混合不同类型数据以研究对模型性能的影响，并提供10亿至300亿种参数规模的图像识别和自然语言推理能力。

团队在MM1.5持续预训练阶段引入了高质量的OCR数据和合成图像描述，显著提升了模型对包含大量文本的图像的理解能力。研究人员还分析了不同数据类型对模型表现的影响，优化了视觉指令微调数据的混合方式，以提高模型效率。

此外，苹果公司还推出了专门用于视频理解的MM1.5-Video模型和处理移动设备用户界面（UI）理解的MM1.5-UI模型。其中，MM1.5-UI模型有望成为iOS后台的“苹果牌”AI，在处理各种视觉引用与定位任务、总结屏幕上的功能以及通过与用户的对话进行交互方面发挥重要作用。

尽管MM1.5模型在多项基准测试中表现出色，但苹果团队仍计划进一步融合文本、图像和用户交互数据，设计更复杂的架构来提升其对移动设备UI的理解能力，并加强“苹果牌”AI的实力。