中关村在线

热点资讯

美团开源万亿参数LongCat-2.5多模态长程智能体模型

2026年11月9日,美团正式对外开源LongCat-2.5模型。该模型采用MIT开源协议,允许商用推理部署及二次训练,无需额外授权,专为长程智能体任务设计,具备原生多模态能力。

模型总参数量达1.6万亿,每个输入词元动态激活约480亿参数,支持最长100万词元的上下文长度。官方测试表明,其在复杂代码库开发、完整项目构建、可视化编程以及专业办公等端到端任务中的交付能力均有显著提升。

长程智能能力的增强贯穿整个训练流程,而非依赖局部优化。数据层面引入大量真实长程任务轨迹,并将智能体执行失败的全过程转化为可复现、可验证的训练样本。强化学习阶段采用partial rollout异步训练机制,支持未完成的长任务中断后继续执行;过采样策略依据任务通过率动态调整,有效剔除全对或全错的低信息量样本组;同时对跨检查点的历史轨迹进行梯度校正,缓解因模型迭代导致的认知偏差累积。

训练环境模拟真实约束:任务运行期间默认断网,清除Git历史记录与本地文件缓存;由大语言模型担任轨迹评判员,对重复推理、冗余工具调用及过度思辨等低效行为施加显式约束,促使模型聚焦于任务目标的实质性达成。

视觉处理未采用独立附加模块,而是将图像信号统一编码为多层级离散词元。系统对原始分辨率特征实施残差向量量化,逐级补充细节信息;视觉码本与主干网络联合优化,视觉与文本共享同一套参数体系,在统一语义空间内协同完成跨模态理解与代码生成。

推理阶段采用W4A4量化方案,专家权重与激活值同步压缩至4比特,依托原生INT4矩阵乘法单元完成计算,实测主流下游任务性能与全精度版本基本一致。

针对国产硬件平台在显存与带宽方面的现实限制,模型进行了深度协同优化:当单卡显存低于80GB时,通过分片策略将计算负载均衡分配至超节点内多张显卡;结合混合词表并行、MoonEP动态专家复制机制与零拷贝通信技术,长序列监督微调的单卡吞吐效率相较传统DDP方案提升86%。

展开全文
人赞过该文 赞
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具