国产超大规模通用AI大模型 鹏城?脑海开源了

9月21日，在2023华为全联接大会上，鹏城实验室主任、中国工程院院士高文正式发布了通用AI大模型“鹏城?脑海”。这款大模型以稠密型架构实现2000亿参数，依托“鹏城云脑II”国产化AI算力平台全程预训练，并采用国产化的深度学习框架——MindSpore和大规模并行训练策略，完善了训练效率、底层算子性能和容错机制。此外，它还构建了一套涵盖中文、英文及50余个“一带一路”沿线国家及地区语种的多样化语料数据集和数据质量评估工具集。 本次发布的“鹏城?脑海”基础版以中文为核心，将在OpenI启智社区向全社会开源。实验室正同步研制“中国算力网”全国一体化算力协同计算调度平台，汇聚全国协同算力达3E规模。这款大模型将进一步依托“中国算力网”接入的协同算力，以“算力网算力调度+模型赋能”的方式，与国家新一代AI公共算力平台共同推动国产化AI大模型的持续演进与部署应用。实验室还计划形成“鹏城?脑海”开源联合体，广泛联合企业、高校和科研院所，提供覆盖压缩、部署、微调与价值对齐等环节的模型工具，加强大模型的开源管理与资源共享。