腾讯混元宣布最新的MoE模型“混元Large”以及混元3D生成大模型“Hunyuan3D-1.0”正式开源,支持企业及开发者精调、部署等不同场景的使用需求,可在HuggingFace、Github等技术社区直接下载,免费可商用。
腾讯称混元Large是业界参数规模最大、效果最好的开源MoE大语言模型,采用7T训练tokens,总参数量389B,激活参数量52B,上下文长度高达256K,技术报告也同步发布。
混元-Large包括三款模型:Hunyuan-A52B-Pretrain,Hunyuan-A52B-Instruct和Hunyuan-A52B-FP8。混元Large包含高质量合成数据、专家特定的学习率缩放、KV缓存压缩、长上下文处理能力、广泛的基础测试等主要技术创新。
腾讯混元3D生成大模型则是业界首个同时支持文字、图像生成3D的开源大模型,不仅在定量指标上达到开源模型的先进水平,而且轻量版生成高质量3D资产只需10秒,标准版也将文/图生成3D资产的耗时缩至45秒内。
两个模型均属腾讯自研,在架构、算法、数据等方面有独特创新,填补了行业空白。目前,两个模型均已经在腾讯业务场景中落地应用,经过实践的检验,是面向实用场景的应用级大模型。
当天,腾讯云TI平台和高性能应用服务HAI也开放接入这两个模型,为模型的精调、API调用及私有化部署提供一站式服务。
据悉,混元未来的模型开源战略是“拥抱开源,自主可控,坚持协同”。本次开源是腾讯混元继文生图模型后持续开放的一大举措,未来还将陆续推出混元-M、混元S等模型。
另外,腾讯混元计划后续推出更多模态、更多尺寸的开源模型,将更多经过腾讯业务场景打磨和检验的模型开源,促进大模型技术进步和行业生态繁荣。
评论